如何比较 AI 智能体:我们提出的6个问题
如何比较 AI 智能体,归根结底取决于你提出什么问题,因为问题决定了你能发现什么。统计功能,只能让你知道各家的市场部门选择在页面上展示什么。
- 这6个问题是:它在哪里运行,工具如何接入模型,你的记忆存在哪里,哪些操作需要你批准,你如何使用它、又有哪些事情能在你不介入时启动它,以及哪些信息无人能够确认。
- 我们是在拆解产品之后,而不是之前,写下这些问题的。它们标出了4款产品实际存在差异的地方,并非我们事先带着一张清单去检查。
- 所有问题都不设权重,也没有综合数值,因为把它们合并,就意味着替你决定每一项对你有多重要。
- 最后一个问题是我们未能确认什么。每款产品都有答案,而且这些答案并不简短。
用同样的6个问题进行个人智能体评测
如果你是在挑选智能体,而不只是阅读我们的研究,下面就是简版方法。按顺序向每个候选产品提出这些问题,并记下你实际看到的内容,而不是产品页面上的说法。
- 它在哪里运行? 是在一台你看不到的服务器上,在云端一台属于你自己的机器里,还是作为一个进程运行在你的笔记本电脑上,并能看到你的消息和屏幕。
- 工具如何接入模型? 是一次性全部接入,按组逐次接入,还是放在一份单独的许可清单之后。
- 你的记忆存在哪里? 是存放在你可以打开和编辑的文件里,还是存放在只能通过产品访问的数据存储中。
- 哪些操作需要你批准? 哪些操作会停下来等待你,你批准的究竟是什么,以及你能否撤回它已经掌握的信息。
- 你如何使用它,又有哪些事情能在你不介入时启动它? 你可以输入内容的界面,以及能够唤醒它的时钟、收件箱和日历。
- 哪些信息你没能查清? 把这些空白也作为答案记录下来。表示“没有调查”的空白单元格,不应与表示“没有相关内容”的单元格看起来一样。
这份清单之外还有两项实际检查:你究竟能否获得使用资格,因为其中一些产品只接受邀请或仍在候补名单中;以及它今天的价格是多少,查询当天应以厂商自己的定价页面为准。例如,Town 的定价页面以免费方案起步,而我们在2026年10月12日检查时,Instinct 的首页和条款均未显示价格。
例如,在我们检查的 Instinct 消息交互路径中,审批会绑定具体方案,浏览器采用租用方式,而主智能体的托管位置未知。它9月的复现成功率无法证明它能否完成你自己的预订任务。做出选择前,请写下期望的最终状态、允许使用的账号、所需的可用时间,以及带日期的报价。随后开展一次小规模、经过授权的试用,并保留结果和审批记录。这份清单是对6个架构问题的补充,不会把它们合并成一个分数。
在我们的对照表中,同样的6个问题构成各行,摘要如下:
| 维度 | 它回答的问题 |
|---|---|
| 运行位置 | 模型是在你的机器附近还是远端运行,它能接触到什么? |
| 工具如何暴露 | 工具定义何时进入上下文,由谁决定接入哪些工具? |
| 记忆存放位置 | 是你可以打开的文件,还是只能通过产品访问的服务端存储? |
| 需要你批准的操作 | 它执行什么操作前会询问你,你能否撤回它掌握的信息? |
| 你如何使用它 | 默认交互界面是什么,其他界面上的体验又如何? |
| 我们无法确认的内容 | 直接明说,因为只报告成功发现的评测不算评测。 |
横向阅读对照表可以比较同一维度,纵向查看一列可以考察一款产品。拆解报告提供了作为依据的观察结果及其局限。
个人智能体在哪里运行,以及这为何决定其他一切
问题并不是“它在本地还是云端”,因为这4款产品都不会在你的机器上运行模型,用“是或否”来回答会让它们看起来完全相同。真正的问题是,模型与你的数据之间隔着什么,以及一旦出错,你的硬件有多大范围会受到波及。
我们看到了4种不同答案。请求完全在服务端组装,意味着塑造智能体行为的指令从未到达你这里,因此你无法检查它们,你机器上的其他任何东西也无法检查。每位用户独享一台 Linux VM,意味着请求是在某种实质上属于你的环境中构建的。沙箱可以隔离本地执行,但通过已连接账号采取的操作仍可能造成持久影响。原生桌面进程还会额外暴露它所获得的全部本地权限。
最后一种安排值得仔细想想。模型并不在你的笔记本电脑上,但一个能够看到你大量个人生活信息的进程在,而且它会按照远程模型的指示行事。执行位置决定了智能体能够接触什么、遭到投毒的网页可能诱使它做什么,以及事后会留下哪些证据。
工具如何接入个人智能体的模型
个人智能体由模型和一组获准执行的操作组成。这个维度关注的是,这组能力如何呈现在模型面前,以及由谁选择。
真正值得关注的区别,在于产品能够做什么,以及在模型做决定的那一刻,产品告诉模型它能够做什么。有些产品一次性把所有工具都放入上下文。有些产品每次加载一组定义,只有在该组变得相关时才加载。还有一些产品把权限问题与能力问题完全分开,因此会有一份允许事项清单,但不包含这些事项如何实现的任何细节。
这种分离对你最重要,因为它让“这个东西获准接触什么”成为一个能简短回答的问题。定义何时进入上下文,并不只是实现人员才需要关注的细节。加载完整工具目录会占用上下文,即便智能体从未调用其中的工具。这种开销无法说明消费者在免费、固定费率或按量计费方案下需要支付多少。上下文中的一切,也都可能成为恶意指令试图调用的对象,因此工具集越窄,攻击面也越窄。这里的4款产品对此得出了4种不同结论。
对照表会列出工具数量,而且每次都附有警告。目录中的数字统计的是产品某处存在多少工具。你真正想知道的是,在只连接了你愿意连接的账号后,眼前这个助手能够调用多少工具。本评测中的产品都没有公布针对你所连接账号的这个数字。最接近的是 Town,我们看到它向主助手提供了工具目录中1105项工具里的177项,但这仍然是关于产品的数字,而不是关于你具体配置的数字。
你的记忆存在哪里
这些产品全都会记住与你有关的信息,但它们对记忆采用什么形式、谁能查看,意见完全不同。
这个维度可以归结为一个实际问题:如果它误解了你,你该如何纠正?在本评测中,真实答案的跨度从“打开文件并编辑那一行”,一直到“通过产品界面处理,否则就无法处理”。存放在主目录中的 Markdown,与只能查询的服务端存储,并不是同一功能的两种实现。它们代表了你与自身数据之间两种不同的关系。
第一个问题还伴随着第二个问题:哪些内容会与其他信息分开保存?专门用于填写表单、同时不泄露所填内容的凭据存储,与通用笔记文件是不同的工程设计。若一款产品两者兼具,说明它认真考虑过这个问题。
我们只描述每种存储的结构,绝不描述其中的内容。
AI 智能体行动前,哪些操作需要你批准
这是大多数比较都会略过的问题,却决定了你能否放心让智能体单独使用你的银行卡。它包含两部分:智能体执行哪些操作前会停下来询问你,以及你能否撤回它已经了解的个人信息。
4款产品以4种不同方式回答了第一部分。Pine会在计费操作前请求确认,而且有两种独立确认:一种用于启动任务,有自己的有效期;另一种是身份确认,供通话中的公司要求与账号持有人直接沟通时使用。Instinct显示的审批卡有3个选项,而不是2个,分别是批准、拒绝或忽略。审批与卡片显示的确切文本绑定,因此重写后的消息需要重新审批。Muse让所有权限、审批以及任何离开本机的内容都经过同一个把关组件,审批标签页与活动动态并列。Meta 自己的安全说明将该组件称为 Sentinel,并称它是连接器操作和网络出站流量的唯一权限管理机构。Town把审批视为配置,而非弹窗提示:运行模式、账号范围、工具列表和审批模式,共同决定任务能否启动,以及是否可以向外部任何位置写入内容。
这些方案没有一种适合所有人。每个高风险步骤前都弹出提示,适合希望持续关注的人;一次设置好配置,则适合希望例行任务在夜间自行运行的人。对于任何智能体,你都应该检查自己批准的究竟是什么。与即将发送的精确文本绑定的审批,和与生成该文本的请求绑定的审批,作出的承诺并不相同。
第二部分是删除。Muse 的运行时暴露了文件删除和遗忘能力,但个人访问权限尚未得到验证。Town 的记忆系统提供添加、更新和删除工具。Instinct 说明了删除涵盖哪些内容。Pine 没有用于保存其所知信息的文件,因此也没有可供你打开并删除的内容。我们自己的考试在第一部分采取相同原则:如未经用户同意就越过付款、签名或最终提交环节,会被单独记为一次未经授权的操作,具体见考试如何运作。
你如何使用它,以及哪些事情能在你不介入时启动它
交互界面列表是这个维度中较为乏味的一半:网页、桌面端、消息应用、电话,以及其他人的智能体可以调用的 API。
真正重要的另一半是触发面。这里4款产品中至少有2款,也就是 Town 和 Instinct,能够在没有任何人输入内容的情况下开始工作:时钟到达某个时间、收到电子邮件、日历事件临近,或文档发生变化。这2款产品的拆解报告记录了这些能力;对于 Pine 和 Muse,我们的拆解报告无法确认它们是否具备相应能力。正是这项功能让智能体能在你睡觉时发挥作用,但它也让你之外的人能够向智能体发出信息。
触发面包含收件箱的智能体,任何知道你电子邮件地址的陌生人都能对它说话。因此,位于“发生了某件事”和“据此采取行动”之间的检查机制承担着关键作用,这是功能对比无法体现的。也正因如此,这个维度记录的是哪些事情可以启动一次运行,而不只是你可以在哪些界面输入内容。
我们无法确认的内容
大多数比较会绕开自身的知识空白。这里,它是最后一个维度,而且每款产品都会填写。
设置这个维度有2个原因。显而易见的原因是诚实:如果一项评测只报告自己设法查明的内容,你就无法判断它的可信尺度,因为你不知道空白单元格代表“没有内容可报告”,还是“我们没有调查”。另一个不那么明显的原因是,这些条目本身也提供了信息。一个坚定的外部观察者能看到产品的多少内容,是产品的真实属性;4列失败记录会告诉你,哪些公司认定不透明本身就是一种功能。
这些条目会写得具体,而不是泛泛而谈。不会只写“我们不太了解它的提示词”,而会写明尝试了多少次,以及得到了什么结果。也不会只写“记忆机制不明确”,而会写明结构的哪一部分已经显现,哪一部分仍未显现。
为什么个人智能体仍然没有综合分数
首批任务运行结果已经出炉,我们公布的是附带区间和样本量的结果,而非排名。仍然没有综合分数,因为把彼此独立的测量合成一个数字,就意味着替你决定各项有多重要,而我们并不知道答案。有一款产品的数据未予公布,因为我们拿到的数字与能够核查的记录对不上。
对照表中的第一批结果展示了完成率、95% 区间和计分任务数,并按样本量而不是完成率排序。Town 尚未核对一致的数据仍不公布。这些数据来自经过调整的运行时考试,批次证据未公开。旁边的10月批次在这一点上不同:其背后的每次尝试都有记录,而且我们已根据这些记录核对数据。已记录的运行记载了每次尝试,考试方法则说明如何核查结果。所有这些测量都不会合并成单一产品分数。
试一试:需要多少项任务,10个百分点的差距才有意义
这里有2个虚构的智能体。一个完成了55%的任务,另一个完成了45%。拖动控件,可改变每个智能体参与评分的任务数量。
- 智能体 A · 55% (34–74) ·
- 智能体 B · 45% (26–66) ·
两个区间重叠。 当两者各有20项任务时,这一差距仍在测量噪声范围内;把 A 排在 B 前面只能算猜测。
另一个同类对照表 Assistant Benchmark由1个人根据实际使用进行评分,每个类别满分10分,未测试的单元格留空。这是发布证据的一种合理方式。我们在2026年10月22日查看时,其综合榜单最后更新于10月19日,最多按15个评分类别为29款助手给出了总分。随后,它把每款产品汇总为一个总分和一个排名,而出于上述原因,这正是本对照表不会采取的最后一步。基准评测页面将它与另一份消费者对照表并列,后者对相同的2款产品给出了相反排序。
这份对照表有意不衡量的3件事
价格不是一个维度。定价变化的速度快于比较页面的更新速度,过期价格看起来很权威,实际上却是错的。当前价格会标注日期,列在各产品页面中。
输出质量也不是一个维度。智能体写出的电子邮件是否像样,是一种因任务而异的判断,对其评分往往衡量的是评分者本人。任何拥有账号的人都能核查运行时事实,因此我们发布的是这类内容。
我们自己的产品不会出现在表中,以后也不会。Zentor 开发智能体软件,利益冲突确实存在。不参与评测,是唯一经得住持怀疑态度的读者检验的处理方式。谁在运营这项评测说明了其他相关情况,包括网站的资金来源。
该表只涵盖运行时拆解。单独的开源智能体比较记录了基于固定源码版本的发现,不添加考试分数。关于 Personal Agent Bench解释了如何区分观察结果、外部报告和考试测量,以及哪些地方无法进行独立验证。
单独的114项任务比较涵盖 Town。其旧版本、筛选方式和未公开的转录记录限制了解读空间,因此不能取代主表。
| 产品 | 有记录的用途或设计 | 标注日期的价格 |
|---|---|---|
| Pine | 致电公司 | 按周显示的个人价格和按月显示的工作价格 |
| Instinct | 通过消息处理工作 | 主要条款中没有金额 |
| Muse | 每位用户独享 VM,并连接相关服务 | 免费使用及第三方付费方案快照 |
| Town | 简报和定时例行任务 | 免费及付费方案 |
常见问题
如何在不打分的情况下比较 AI 智能体? 向每款产品提出同样的6个问题,并将答案并排发布。比较需要相同的问题和诚实的答案,不需要在底部放一个总分,而总分恰恰会掩盖判断过程。
为什么各维度权重相同?是否存在单一分数? 它们根本没有权重,也不存在单一分数。设置权重意味着要判断“模型在服务端运行”相较于“记忆是你可以打开的文件”有多重要,而这完全取决于你的具体情况。任何发布综合分数的人,都在没有说明的情况下替你做出了这个决定。
这6个维度从何而来? 来自拆解报告。我们先拆解了4款产品,再根据它们之间真正不同的地方建立这些维度。因此,这些维度才会如此具体,而不是采用功能表常见的类别。
你们如何测试 AI 智能体的表现? 通过一项单独进行的日常事务考试。9月的数据来自运行考试的团队,背后没有公开的批次记录。在10月11日的批次中,4款产品分别接受了同样的20项任务,每项只执行1次(Pine 因考试故障而没有数据),我们根据每次尝试的记录核对了数据。两批结果及其区间都列在对照表中,且都不会与拆解报告的答案相加。
比较 AI 智能体时应该关注什么? 它在哪里运行、能够接触什么、记忆存在哪里、行动前会询问什么、哪些事情能在你不介入时启动它,以及哪些信息无人能够查明。然后检查使用资格,并在厂商自己的页面上查询当前价格。拆解观察涉及账号内可见的行为,因此你可以使用自己的账号核查;对于我们无法观察的内容,会放在最后一行,而不是含糊带过。
基于可核查证据比较 AI 智能体
这里的方法并不复杂:向每款产品提出同样的6个问题,记录你看到的内容,如实说明未能查明的地方,并且不要把结果相加成一个数字。
这样得到的是一个可供质疑的页面。每个单元格都指向可观察的行为,因此持不同意见的读者有具体的质疑对象。你可以查看产生这些维度的4份拆解报告、对照表本身,或了解现有智能体基准评测衡量什么,以及为何它们都没有回答这个问题。
贯穿每款智能体的问题
其中一些问题拥有独立页面,不是逐一考察产品,而是向我们所知的每款产品提出同一个问题。
- 让 AI 智能体 24/7 运行:运行时架构与限制运行位置 · 让 AI 智能体 24/7 运行:比较云服务、本地计算机与自托管成本,涵盖4种经过检查的运行时,并单独标注厂商声明。
- 主动式 AI 智能体:什么会启动它们,它们行动前会询问什么你如何使用它 · 将主动式 AI 智能体映射到已发表的研究框架:什么能够启动我们拆解过的每款产品,以及它行动前会询问什么。
- 你的网站适合智能体访问吗?个人智能体打开网站时会做什么运行位置 · 一个适合智能体访问的网站需要什么,依据我们的日志和拆解报告:4款个人智能体如何打开页面,以及就绪状态检查工具遗漏了什么。
- Personal Agent Protocol (Poppy):草案写了什么,谁已经推出相关支持需要你批准的操作 · 直接解读 Personal Agent Protocol (Poppy) 草案:poppy.json 包含什么,读写作用域为何被移除,以及哪些合作伙伴发布了该文件。