Personal Agent Bench

其他语言English한국어

如何比较 AI 智能体:我们提出的6个问题

本页由 2026-10-27 的英文版机器翻译而成,所有数字都已和原文核对。如有出入,以英文版为准。

如何比较 AI 智能体,归根结底取决于你提出什么问题,因为问题决定了你能发现什么。统计功能,只能让你知道各家的市场部门选择在页面上展示什么。

  • 这6个问题是:它在哪里运行,工具如何接入模型,你的记忆存在哪里,哪些操作需要你批准,你如何使用它、又有哪些事情能在你不介入时启动它,以及哪些信息无人能够确认。
  • 我们是在拆解产品之后,而不是之前,写下这些问题的。它们标出了4款产品实际存在差异的地方,并非我们事先带着一张清单去检查。
  • 所有问题都不设权重,也没有综合数值,因为把它们合并,就意味着替你决定每一项对你有多重要。
  • 最后一个问题是我们未能确认什么。每款产品都有答案,而且这些答案并不简短。

用同样的6个问题进行个人智能体评测

如果你是在挑选智能体,而不只是阅读我们的研究,下面就是简版方法。按顺序向每个候选产品提出这些问题,并记下你实际看到的内容,而不是产品页面上的说法。

  1. 它在哪里运行? 是在一台你看不到的服务器上,在云端一台属于你自己的机器里,还是作为一个进程运行在你的笔记本电脑上,并能看到你的消息和屏幕。
  2. 工具如何接入模型? 是一次性全部接入,按组逐次接入,还是放在一份单独的许可清单之后。
  3. 你的记忆存在哪里? 是存放在你可以打开和编辑的文件里,还是存放在只能通过产品访问的数据存储中。
  4. 哪些操作需要你批准? 哪些操作会停下来等待你,你批准的究竟是什么,以及你能否撤回它已经掌握的信息。
  5. 你如何使用它,又有哪些事情能在你不介入时启动它? 你可以输入内容的界面,以及能够唤醒它的时钟、收件箱和日历。
  6. 哪些信息你没能查清? 把这些空白也作为答案记录下来。表示“没有调查”的空白单元格,不应与表示“没有相关内容”的单元格看起来一样。

这份清单之外还有两项实际检查:你究竟能否获得使用资格,因为其中一些产品只接受邀请或仍在候补名单中;以及它今天的价格是多少,查询当天应以厂商自己的定价页面为准。例如,Town 的定价页面以免费方案起步,而我们在2026年10月12日检查时,Instinct 的首页和条款均未显示价格。

例如,在我们检查的 Instinct 消息交互路径中,审批会绑定具体方案,浏览器采用租用方式,而主智能体的托管位置未知。它9月的复现成功率无法证明它能否完成你自己的预订任务。做出选择前,请写下期望的最终状态、允许使用的账号、所需的可用时间,以及带日期的报价。随后开展一次小规模、经过授权的试用,并保留结果和审批记录。这份清单是对6个架构问题的补充,不会把它们合并成一个分数。

在我们的对照表中,同样的6个问题构成各行,摘要如下:

维度它回答的问题
运行位置模型是在你的机器附近还是远端运行,它能接触到什么?
工具如何暴露工具定义何时进入上下文,由谁决定接入哪些工具?
记忆存放位置是你可以打开的文件,还是只能通过产品访问的服务端存储?
需要你批准的操作它执行什么操作前会询问你,你能否撤回它掌握的信息?
你如何使用它默认交互界面是什么,其他界面上的体验又如何?
我们无法确认的内容直接明说,因为只报告成功发现的评测不算评测。

横向阅读对照表可以比较同一维度,纵向查看一列可以考察一款产品。拆解报告提供了作为依据的观察结果及其局限。

个人智能体在哪里运行,以及这为何决定其他一切

问题并不是“它在本地还是云端”,因为这4款产品都不会在你的机器上运行模型,用“是或否”来回答会让它们看起来完全相同。真正的问题是,模型与你的数据之间隔着什么,以及一旦出错,你的硬件有多大范围会受到波及。

我们看到了4种不同答案。请求完全在服务端组装,意味着塑造智能体行为的指令从未到达你这里,因此你无法检查它们,你机器上的其他任何东西也无法检查。每位用户独享一台 Linux VM,意味着请求是在某种实质上属于你的环境中构建的。沙箱可以隔离本地执行,但通过已连接账号采取的操作仍可能造成持久影响。原生桌面进程还会额外暴露它所获得的全部本地权限。

最后一种安排值得仔细想想。模型并不在你的笔记本电脑上,但一个能够看到你大量个人生活信息的进程在,而且它会按照远程模型的指示行事。执行位置决定了智能体能够接触什么、遭到投毒的网页可能诱使它做什么,以及事后会留下哪些证据。

工具如何接入个人智能体的模型

个人智能体由模型和一组获准执行的操作组成。这个维度关注的是,这组能力如何呈现在模型面前,以及由谁选择。

真正值得关注的区别,在于产品能够做什么,以及在模型做决定的那一刻,产品告诉模型它能够做什么。有些产品一次性把所有工具都放入上下文。有些产品每次加载一组定义,只有在该组变得相关时才加载。还有一些产品把权限问题与能力问题完全分开,因此会有一份允许事项清单,但不包含这些事项如何实现的任何细节。

这种分离对你最重要,因为它让“这个东西获准接触什么”成为一个能简短回答的问题。定义何时进入上下文,并不只是实现人员才需要关注的细节。加载完整工具目录会占用上下文,即便智能体从未调用其中的工具。这种开销无法说明消费者在免费、固定费率或按量计费方案下需要支付多少。上下文中的一切,也都可能成为恶意指令试图调用的对象,因此工具集越窄,攻击面也越窄。这里的4款产品对此得出了4种不同结论。

对照表会列出工具数量,而且每次都附有警告。目录中的数字统计的是产品某处存在多少工具。你真正想知道的是,在只连接了你愿意连接的账号后,眼前这个助手能够调用多少工具。本评测中的产品都没有公布针对你所连接账号的这个数字。最接近的是 Town,我们看到它向主助手提供了工具目录中1105项工具里的177项,但这仍然是关于产品的数字,而不是关于你具体配置的数字。

你的记忆存在哪里

这些产品全都会记住与你有关的信息,但它们对记忆采用什么形式、谁能查看,意见完全不同。

这个维度可以归结为一个实际问题:如果它误解了你,你该如何纠正?在本评测中,真实答案的跨度从“打开文件并编辑那一行”,一直到“通过产品界面处理,否则就无法处理”。存放在主目录中的 Markdown,与只能查询的服务端存储,并不是同一功能的两种实现。它们代表了你与自身数据之间两种不同的关系。

第一个问题还伴随着第二个问题:哪些内容会与其他信息分开保存?专门用于填写表单、同时不泄露所填内容的凭据存储,与通用笔记文件是不同的工程设计。若一款产品两者兼具,说明它认真考虑过这个问题。

我们只描述每种存储的结构,绝不描述其中的内容。

AI 智能体行动前,哪些操作需要你批准

这是大多数比较都会略过的问题,却决定了你能否放心让智能体单独使用你的银行卡。它包含两部分:智能体执行哪些操作前会停下来询问你,以及你能否撤回它已经了解的个人信息。

4款产品以4种不同方式回答了第一部分。Pine会在计费操作前请求确认,而且有两种独立确认:一种用于启动任务,有自己的有效期;另一种是身份确认,供通话中的公司要求与账号持有人直接沟通时使用。Instinct显示的审批卡有3个选项,而不是2个,分别是批准、拒绝或忽略。审批与卡片显示的确切文本绑定,因此重写后的消息需要重新审批。Muse让所有权限、审批以及任何离开本机的内容都经过同一个把关组件,审批标签页与活动动态并列。Meta 自己的安全说明将该组件称为 Sentinel,并称它是连接器操作和网络出站流量的唯一权限管理机构。Town把审批视为配置,而非弹窗提示:运行模式、账号范围、工具列表和审批模式,共同决定任务能否启动,以及是否可以向外部任何位置写入内容。

这些方案没有一种适合所有人。每个高风险步骤前都弹出提示,适合希望持续关注的人;一次设置好配置,则适合希望例行任务在夜间自行运行的人。对于任何智能体,你都应该检查自己批准的究竟是什么。与即将发送的精确文本绑定的审批,和与生成该文本的请求绑定的审批,作出的承诺并不相同。

第二部分是删除。Muse 的运行时暴露了文件删除和遗忘能力,但个人访问权限尚未得到验证。Town 的记忆系统提供添加、更新和删除工具。Instinct 说明了删除涵盖哪些内容。Pine 没有用于保存其所知信息的文件,因此也没有可供你打开并删除的内容。我们自己的考试在第一部分采取相同原则:如未经用户同意就越过付款、签名或最终提交环节,会被单独记为一次未经授权的操作,具体见考试如何运作。

你如何使用它,以及哪些事情能在你不介入时启动它

交互界面列表是这个维度中较为乏味的一半:网页、桌面端、消息应用、电话,以及其他人的智能体可以调用的 API。

真正重要的另一半是触发面。这里4款产品中至少有2款,也就是 Town 和 Instinct,能够在没有任何人输入内容的情况下开始工作:时钟到达某个时间、收到电子邮件、日历事件临近,或文档发生变化。这2款产品的拆解报告记录了这些能力;对于 Pine 和 Muse,我们的拆解报告无法确认它们是否具备相应能力。正是这项功能让智能体能在你睡觉时发挥作用,但它也让你之外的人能够向智能体发出信息。

触发面包含收件箱的智能体,任何知道你电子邮件地址的陌生人都能对它说话。因此,位于“发生了某件事”和“据此采取行动”之间的检查机制承担着关键作用,这是功能对比无法体现的。也正因如此,这个维度记录的是哪些事情可以启动一次运行,而不只是你可以在哪些界面输入内容。

我们无法确认的内容

大多数比较会绕开自身的知识空白。这里,它是最后一个维度,而且每款产品都会填写。

设置这个维度有2个原因。显而易见的原因是诚实:如果一项评测只报告自己设法查明的内容,你就无法判断它的可信尺度,因为你不知道空白单元格代表“没有内容可报告”,还是“我们没有调查”。另一个不那么明显的原因是,这些条目本身也提供了信息。一个坚定的外部观察者能看到产品的多少内容,是产品的真实属性;4列失败记录会告诉你,哪些公司认定不透明本身就是一种功能。

这些条目会写得具体,而不是泛泛而谈。不会只写“我们不太了解它的提示词”,而会写明尝试了多少次,以及得到了什么结果。也不会只写“记忆机制不明确”,而会写明结构的哪一部分已经显现,哪一部分仍未显现。

为什么个人智能体仍然没有综合分数

首批任务运行结果已经出炉,我们公布的是附带区间和样本量的结果,而非排名。仍然没有综合分数,因为把彼此独立的测量合成一个数字,就意味着替你决定各项有多重要,而我们并不知道答案。有一款产品的数据未予公布,因为我们拿到的数字与能够核查的记录对不上。

对照表中的第一批结果展示了完成率、95% 区间和计分任务数,并按样本量而不是完成率排序。Town 尚未核对一致的数据仍不公布。这些数据来自经过调整的运行时考试,批次证据未公开。旁边的10月批次在这一点上不同:其背后的每次尝试都有记录,而且我们已根据这些记录核对数据。已记录的运行记载了每次尝试,考试方法则说明如何核查结果。所有这些测量都不会合并成单一产品分数。

试一试:需要多少项任务,10个百分点的差距才有意义

这里有2个虚构的智能体。一个完成了55%的任务,另一个完成了45%。拖动控件,可改变每个智能体参与评分的任务数量。

  • 智能体 A · 55% (34–74) ·
  • 智能体 B · 45% (26–66) ·

两个区间重叠。 当两者各有20项任务时,这一差距仍在测量噪声范围内;把 A 排在 B 前面只能算猜测。

另一个同类对照表 Assistant Benchmark由1个人根据实际使用进行评分,每个类别满分10分,未测试的单元格留空。这是发布证据的一种合理方式。我们在2026年10月22日查看时,其综合榜单最后更新于10月19日,最多按15个评分类别为29款助手给出了总分。随后,它把每款产品汇总为一个总分和一个排名,而出于上述原因,这正是本对照表不会采取的最后一步。基准评测页面将它与另一份消费者对照表并列,后者对相同的2款产品给出了相反排序。

这份对照表有意不衡量的3件事

价格不是一个维度。定价变化的速度快于比较页面的更新速度,过期价格看起来很权威,实际上却是错的。当前价格会标注日期,列在各产品页面中。

输出质量也不是一个维度。智能体写出的电子邮件是否像样,是一种因任务而异的判断,对其评分往往衡量的是评分者本人。任何拥有账号的人都能核查运行时事实,因此我们发布的是这类内容。

我们自己的产品不会出现在表中,以后也不会。Zentor 开发智能体软件,利益冲突确实存在。不参与评测,是唯一经得住持怀疑态度的读者检验的处理方式。谁在运营这项评测说明了其他相关情况,包括网站的资金来源。

该表只涵盖运行时拆解。单独的开源智能体比较记录了基于固定源码版本的发现,不添加考试分数。关于 Personal Agent Bench解释了如何区分观察结果、外部报告和考试测量,以及哪些地方无法进行独立验证。

单独的114项任务比较涵盖 Town。其旧版本、筛选方式和未公开的转录记录限制了解读空间,因此不能取代主表。

产品有记录的用途或设计标注日期的价格
Pine致电公司按周显示的个人价格和按月显示的工作价格
Instinct通过消息处理工作主要条款中没有金额
Muse每位用户独享 VM,并连接相关服务免费使用及第三方付费方案快照
Town简报和定时例行任务免费及付费方案

常见问题

如何在不打分的情况下比较 AI 智能体? 向每款产品提出同样的6个问题,并将答案并排发布。比较需要相同的问题和诚实的答案,不需要在底部放一个总分,而总分恰恰会掩盖判断过程。

为什么各维度权重相同?是否存在单一分数? 它们根本没有权重,也不存在单一分数。设置权重意味着要判断“模型在服务端运行”相较于“记忆是你可以打开的文件”有多重要,而这完全取决于你的具体情况。任何发布综合分数的人,都在没有说明的情况下替你做出了这个决定。

这6个维度从何而来? 来自拆解报告。我们先拆解了4款产品,再根据它们之间真正不同的地方建立这些维度。因此,这些维度才会如此具体,而不是采用功能表常见的类别。

你们如何测试 AI 智能体的表现? 通过一项单独进行的日常事务考试。9月的数据来自运行考试的团队,背后没有公开的批次记录。在10月11日的批次中,4款产品分别接受了同样的20项任务,每项只执行1次(Pine 因考试故障而没有数据),我们根据每次尝试的记录核对了数据。两批结果及其区间都列在对照表中,且都不会与拆解报告的答案相加。

比较 AI 智能体时应该关注什么? 它在哪里运行、能够接触什么、记忆存在哪里、行动前会询问什么、哪些事情能在你不介入时启动它,以及哪些信息无人能够查明。然后检查使用资格,并在厂商自己的页面上查询当前价格。拆解观察涉及账号内可见的行为,因此你可以使用自己的账号核查;对于我们无法观察的内容,会放在最后一行,而不是含糊带过。

基于可核查证据比较 AI 智能体

这里的方法并不复杂:向每款产品提出同样的6个问题,记录你看到的内容,如实说明未能查明的地方,并且不要把结果相加成一个数字。

这样得到的是一个可供质疑的页面。每个单元格都指向可观察的行为,因此持不同意见的读者有具体的质疑对象。你可以查看产生这些维度的4份拆解报告、对照表本身,或了解现有智能体基准评测衡量什么,以及为何它们都没有回答这个问题。

贯穿每款智能体的问题

其中一些问题拥有独立页面,不是逐一考察产品,而是向我们所知的每款产品提出同一个问题。