最强智能体agent q发布，llama 3成功率飙升3倍，openai神秘「草莓」遭截胡？ -金沙娱场城app

初创公司multion最近发布了号称「目前最强」的agent q，在真实的预订任务中可以达到95.4%的成功率。网友纷纷猜测其背后有openai神秘的q*项目加持。

没有等来openai的q*/草莓项目的发布，一家名为multion初创公司却抢先发布了名为q的智能体。

非常高兴地宣布我们过去6个月的工作——agent q现已上线！这是一个能够推理并搜索的自监督智能体框架，并可以通过互联网上的真实任务进行自我对弈和强化学习，实现自我纠正和自主改进！

更引起关注的是，multion联创/ceo div garg在推特上提及agent q时，总不忘带上这个显眼的🍓。

这引来了各路吃瓜群众的持续围观，有人猜测，agent q背后的大boss正是openai的q*项目。

不仅如此，multion还给agent q开设了独立的推特账号，经常输出各种奇怪言论且「人机难辨」。

账号的背景图片以及基本信息更是处处碰瓷草莓，还直接粘贴了奥特曼之前发的自家花园草莓照片。

但神奇的是，这个神秘账号的关注者不乏各路大佬和kol，包括y-combinator ceo garry tan、quora ceo adam d'angelo、《纽约时报》专栏作家kevin roose、沃顿商学院ai教授ethan mollick，以及多名openai职员。

甚至，奥特曼最近也主动开始和这个神秘账号互动，评论了它玩梗「agi达到二级」的帖子。

multion的这波操作究竟是纯粹炒作，还是配合openai对q*的宣传预热，就见仁见智了。

要么这将是迄今为止发布的最好的ai agent之一，要么div garg会因为牵扯上这次最糟糕的炒作而毁了公司的声誉。在人工智能社区中，这会适得其反。

撇开种种争议不谈，我们先来看看这个agent q究竟有多少技术含量。

根据ceo div garg的说法，agent q不仅有规划、推理能力，还有自我修复功能。他们仅用了一天的训练时间，就将llama 3的零样本性能提升了340%，在真实世界的预订任务中由95.4%的成功率。

这是自主ai智能体在现实环境中做出复杂而可靠的决策的一大进步。

在官方发布的demo视频中，agent q可以执行的任务包括预订餐厅、会议、机票，其中都涉及多步的规划、推理、决策，以及与各种应用程序的交互。

虽然multion的研究团队已经在金沙娱场城app官网上传了论文，但agent q还未开放试用，需要在等待名单中注册以申请内测机会。

论文地址：https://multion-research.s3.us-east-2.amazonaws.com/agentq.pdf

金沙娱场城app官网宣称，agent q今年晚些时候向multion的开发者和用户开放。

技术解读

近年来，虽然llm已经彻底颠覆了nlp领域并取得了显著成就，但在交互环境中仍面临重大挑战，尤其多步推理任务，比如网页导航。

当前依赖静态语言数据集的训练方法，不足以使这些模型适应动态的现实世界互动。

agent q的出现是ai智能体领域的一个重大里程碑，它结合了搜索、自我反思和强化学习，能够进行规划和自我修复。

通过引入一种新的学习和推理框架，agent q解决了之前llm训练技术的局限性，使其能够实现自主网页导航。

agent q在执行预订任务时的步骤拆解

当前方法的问题

当前的方法，如在精心策划的专家演示上进行监督微调，通常在智能体多步任务上表现不佳，其原因在于累积错误和有限的探索数据，因此在动态环境中需要复杂决策和自适应学习时，就会产生次优策略。

agent q方法与构件

agent q结合了引导式蒙特卡洛树搜索（mcts）和ai自我反思与迭代微调方法，同时利用直接偏好优化（dpo）等rlhf算法，使llm智能体从成功和失败的轨迹中学习，提高多步推理任务中的泛化能力。

agent q的关键组件包括：

1. 基于mcts的引导式搜索：通过探索不同的行为和网页自主生成数据，并在探索（exploration）和利用（exploitation）之间取得平衡。

mcts使用较高的采样温度和多样化提示词来扩展行为空间，确保能收集到多样化且最优的轨迹。

2. ai自我批评：每个步骤中，基于ai的自我批评都能提供有价值的反馈，从而优化智能体的决策。这种步骤级反馈对于长周期任务至关重要，因为稀疏信号往往导致学习困难。

3. 直接偏好优化：dpo算法通过构建由mcts生成数据的偏好对来微调模型。这种off-policy的训练方法允许模型从聚合数据集中有效学习，包括搜索过程中探索的次优分支，从而提高复杂环境中的成功率。

评估实验

基于xlam-v0.1-r模型构建的用于模拟网上商店的任务中，agent需要进行搜索以找到特定商品。

虽然rft、dpo和集束搜索等方法也能实现一定提升，但幅度不及agentq。

如果同时使用agent q和mcts方法，任务成功率即可从28.6%提升至50.5%，相当于平均人类水平50%。

在open table的真实预订任务中，agent需要执行多个步骤，包括找到对应的餐厅页面、选择合适的日期时间、根据用户偏好选择合适的座位、提交用户的联络方式，最后完成任务。

这个复杂度比webshop明显上了一个台阶。根据实验后的统计，完成webshop任务的平均步骤为6.8，open table则翻了一倍，达到13.9。

由于open table并非模拟数据集，而是真实的在线环境，很难进行自动化评估，因此论文使用了gpt-4-v作为评估者，根据预先定义的指标对agent每个步骤的操作给予奖励值，并标记任务是否完成。

agent q将llama-3的零样本成功率从18.6%提升至81.7%，分数提高比例达340%，而且仅经过了一天的自主数据收集。

加入在线的蒙特卡罗树搜索后，成功率还能进一步提高到95.4%。

讨论

虽然agent q在上述的评估实验中都表现出了强大的网页导航、搜索、推理和规划能力，但目前所用的方法仍存在许多讨论和改进的空间：

- 推理算法的设计：目前agent q的核心挑战在于较弱的推理能力，因此限制了探索和搜索的策略；此外，目前在训练agent策略时，批评模型（critic）处于冻结状态，对其引入额外的微调或许有性能增益。

- 由于mcts之前在数学和编码任务上的成功经验，agent q首选mcts用于搜索，但在真实环境中可能引起相当数量的有风险的交互行为。更改搜索策略可能是较为合适的选择。

- 在线安全与交互：目前agent q的实际允许很大程度上的自主探索、自我评估，人类干预的程度有限。但agent的操作仍可能出现不少错误，尤其是在电子邮件、支付、存档等关键任务中。

如果不解决安全问题，就会大大限制agent q实际可部署的任务场景，未来可能需要额外的安全性批评模型以及human-in-the-loop的训练设置。

参考资料

https://x.com/rm_rafailov/status/1823462897751875701

https://x.com/ai_for_success/status/1823447309008490730

https://www.multion.ai/blog/introducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities

本文来自微信公众号，作者：乔杨 好困，36氪经授权发布。