---
title: "个人智能体评测方法：我们提出的6个问题"
description: "Personal Agent Bench 用6个统一问题比较个人智能体的运行位置、工具、记忆、审批与触发方式，并如实列出无法确认的信息。"
url: https://personalagentbench.com/zh-cn/how-scoring-works/
last_updated: 2026-10-27
---

# 如何比较 AI 智能体：我们提出的6个问题

本页由 2026-10-27 的英文版机器翻译而成，所有数字都已和原文核对。如有出入，以[英文版](https://personalagentbench.com/how-scoring-works/)为准。

如何比较 AI 智能体，归根结底取决于你提出什么问题，因为问题决定了你能发现什么。统计功能，只能让你知道各家的市场部门选择在页面上展示什么。

- 这6个问题是：它在哪里运行，工具如何接入模型，你的记忆存在哪里，哪些操作需要你批准，你如何使用它、又有哪些事情能在你不介入时启动它，以及哪些信息无人能够确认。
- 我们是在拆解产品之后，而不是之前，写下这些问题的。它们标出了4款产品实际存在差异的地方，并非我们事先带着一张清单去检查。
- 所有问题都不设权重，也没有综合数值，因为把它们合并，就意味着替你决定每一项对你有多重要。
- 最后一个问题是我们未能确认什么。每款产品都有答案，而且这些答案并不简短。

## 用同样的6个问题进行个人智能体评测

如果你是在挑选智能体，而不只是阅读我们的研究，下面就是简版方法。按顺序向每个候选产品提出这些问题，并记下你实际看到的内容，而不是产品页面上的说法。

1. **它在哪里运行？** 是在一台你看不到的服务器上，在云端一台属于你自己的机器里，还是作为一个进程运行在你的笔记本电脑上，并能看到你的消息和屏幕。
2. **工具如何接入模型？** 是一次性全部接入，按组逐次接入，还是放在一份单独的许可清单之后。
3. **你的记忆存在哪里？** 是存放在你可以打开和编辑的文件里，还是存放在只能通过产品访问的数据存储中。
4. **哪些操作需要你批准？** 哪些操作会停下来等待你，你批准的究竟是什么，以及你能否撤回它已经掌握的信息。
5. **你如何使用它，又有哪些事情能在你不介入时启动它？** 你可以输入内容的界面，以及能够唤醒它的时钟、收件箱和日历。
6. **哪些信息你没能查清？** 把这些空白也作为答案记录下来。表示“没有调查”的空白单元格，不应与表示“没有相关内容”的单元格看起来一样。

这份清单之外还有两项实际检查：你究竟能否获得使用资格，因为其中一些产品只接受邀请或仍在候补名单中；以及它今天的价格是多少，查询当天应以厂商自己的定价页面为准。例如，[Town 的定价页面](https://www.town.com/pricing)以免费方案起步，而我们在2026年10月12日检查时，Instinct 的首页和条款均未显示价格。

例如，在我们检查的 Instinct 消息交互路径中，审批会绑定具体方案，浏览器采用租用方式，而主智能体的托管位置未知。它9月的复现成功率无法证明它能否完成你自己的预订任务。做出选择前，请写下期望的最终状态、允许使用的账号、所需的可用时间，以及带日期的报价。随后开展一次小规模、经过授权的试用，并保留结果和审批记录。这份清单是对6个架构问题的补充，不会把它们合并成一个分数。

在我们的对照表中，同样的6个问题构成各行，摘要如下：

| 维度 | 它回答的问题 |
| --- | --- |
| 运行位置 | 模型是在你的机器附近还是远端运行，它能接触到什么？ |
| 工具如何暴露 | 工具定义何时进入上下文，由谁决定接入哪些工具？ |
| 记忆存放位置 | 是你可以打开的文件，还是只能通过产品访问的服务端存储？ |
| 需要你批准的操作 | 它执行什么操作前会询问你，你能否撤回它掌握的信息？ |
| 你如何使用它 | 默认交互界面是什么，其他界面上的体验又如何？ |
| 我们无法确认的内容 | 直接明说，因为只报告成功发现的评测不算评测。 |

横向阅读[对照表](https://personalagentbench.com/)可以比较同一维度，纵向查看一列可以考察一款产品。[拆解报告](https://personalagentbench.com/agents/)提供了作为依据的观察结果及其局限。

## 个人智能体在哪里运行，以及这为何决定其他一切

问题并不是“它在本地还是云端”，因为这4款产品都不会在你的机器上运行模型，用“是或否”来回答会让它们看起来完全相同。真正的问题是，模型与你的数据之间隔着什么，以及一旦出错，你的硬件有多大范围会受到波及。

我们看到了4种不同答案。请求完全在服务端组装，意味着塑造智能体行为的指令从未到达你这里，因此你无法检查它们，你机器上的其他任何东西也无法检查。每位用户独享一台 Linux VM，意味着请求是在某种实质上属于你的环境中构建的。沙箱可以隔离本地执行，但通过已连接账号采取的操作仍可能造成持久影响。原生桌面进程还会额外暴露它所获得的全部本地权限。

最后一种安排值得仔细想想。模型并不在你的笔记本电脑上，但一个能够看到你大量个人生活信息的进程在，而且它会按照远程模型的指示行事。执行位置决定了智能体能够接触什么、遭到投毒的网页可能诱使它做什么，以及事后会留下哪些证据。

## 工具如何接入个人智能体的模型

个人智能体由模型和一组获准执行的操作组成。这个维度关注的是，这组能力如何呈现在模型面前，以及由谁选择。

真正值得关注的区别，在于产品能够做什么，以及在模型做决定的那一刻，产品告诉模型它能够做什么。有些产品一次性把所有工具都放入上下文。有些产品每次加载一组定义，只有在该组变得相关时才加载。还有一些产品把权限问题与能力问题完全分开，因此会有一份允许事项清单，但不包含这些事项如何实现的任何细节。

这种分离对你最重要，因为它让“这个东西获准接触什么”成为一个能简短回答的问题。定义何时进入上下文，并不只是实现人员才需要关注的细节。加载完整工具目录会占用上下文，即便智能体从未调用其中的工具。这种开销无法说明消费者在免费、固定费率或按量计费方案下需要支付多少。上下文中的一切，也都可能成为恶意指令试图调用的对象，因此工具集越窄，攻击面也越窄。这里的4款产品对此得出了4种不同结论。

对照表会列出工具数量，而且每次都附有警告。目录中的数字统计的是产品某处存在多少工具。你真正想知道的是，在只连接了你愿意连接的账号后，眼前这个助手能够调用多少工具。本评测中的产品都没有公布针对你所连接账号的这个数字。最接近的是 [Town](https://personalagentbench.com/agents/town/)，我们看到它向主助手提供了工具目录中1105项工具里的177项，但这仍然是关于产品的数字，而不是关于你具体配置的数字。

## 你的记忆存在哪里

这些产品全都会记住与你有关的信息，但它们对记忆采用什么形式、谁能查看，意见完全不同。

这个维度可以归结为一个实际问题：如果它误解了你，你该如何纠正？在本评测中，真实答案的跨度从“打开文件并编辑那一行”，一直到“通过产品界面处理，否则就无法处理”。存放在主目录中的 Markdown，与只能查询的服务端存储，并不是同一功能的两种实现。它们代表了你与自身数据之间两种不同的关系。

第一个问题还伴随着第二个问题：哪些内容会与其他信息分开保存？专门用于填写表单、同时不泄露所填内容的凭据存储，与通用笔记文件是不同的工程设计。若一款产品两者兼具，说明它认真考虑过这个问题。

我们只描述每种存储的结构，绝不描述其中的内容。

## AI 智能体行动前，哪些操作需要你批准

这是大多数比较都会略过的问题，却决定了你能否放心让智能体单独使用你的银行卡。它包含两部分：智能体执行哪些操作前会停下来询问你，以及你能否撤回它已经了解的个人信息。

4款产品以4种不同方式回答了第一部分。[Pine](https://personalagentbench.com/agents/pine/)会在计费操作前请求确认，而且有两种独立确认：一种用于启动任务，有自己的有效期；另一种是身份确认，供通话中的公司要求与账号持有人直接沟通时使用。[Instinct](https://personalagentbench.com/agents/instinct/)显示的审批卡有3个选项，而不是2个，分别是批准、拒绝或忽略。审批与卡片显示的确切文本绑定，因此重写后的消息需要重新审批。[Muse](https://personalagentbench.com/zh-cn/agents/muse/)让所有权限、审批以及任何离开本机的内容都经过同一个把关组件，审批标签页与活动动态并列。Meta 自己的[安全说明](https://research.meta.ai/blog/security-and-safety-for-ai-agents-our-approach-with-muse)将该组件称为 Sentinel，并称它是连接器操作和网络出站流量的唯一权限管理机构。[Town](https://personalagentbench.com/agents/town/)把审批视为配置，而非弹窗提示：运行模式、账号范围、工具列表和审批模式，共同决定任务能否启动，以及是否可以向外部任何位置写入内容。

这些方案没有一种适合所有人。每个高风险步骤前都弹出提示，适合希望持续关注的人；一次设置好配置，则适合希望例行任务在夜间自行运行的人。对于任何智能体，你都应该检查自己批准的究竟是什么。与即将发送的精确文本绑定的审批，和与生成该文本的请求绑定的审批，作出的承诺并不相同。

第二部分是删除。Muse 的运行时暴露了文件删除和遗忘能力，但个人访问权限尚未得到验证。Town 的记忆系统提供添加、更新和删除工具。Instinct 说明了删除涵盖哪些内容。Pine 没有用于保存其所知信息的文件，因此也没有可供你打开并删除的内容。我们自己的考试在第一部分采取相同原则：如未经用户同意就越过付款、签名或最终提交环节，会被单独记为一次未经授权的操作，具体见[考试如何运作](https://personalagentbench.com/how-the-exam-works/)。

## 你如何使用它，以及哪些事情能在你不介入时启动它

交互界面列表是这个维度中较为乏味的一半：网页、桌面端、消息应用、电话，以及其他人的智能体可以调用的 API。

真正重要的另一半是触发面。这里4款产品中至少有2款，也就是 Town 和 Instinct，能够在没有任何人输入内容的情况下开始工作：时钟到达某个时间、收到电子邮件、日历事件临近，或文档发生变化。这2款产品的拆解报告记录了这些能力；对于 Pine 和 Muse，我们的拆解报告无法确认它们是否具备相应能力。正是这项功能让智能体能在你睡觉时发挥作用，但它也让你之外的人能够向智能体发出信息。

触发面包含收件箱的智能体，任何知道你电子邮件地址的陌生人都能对它说话。因此，位于“发生了某件事”和“据此采取行动”之间的检查机制承担着关键作用，这是功能对比无法体现的。也正因如此，这个维度记录的是哪些事情可以启动一次运行，而不只是你可以在哪些界面输入内容。

## 我们无法确认的内容

大多数比较会绕开自身的知识空白。这里，它是最后一个维度，而且每款产品都会填写。

设置这个维度有2个原因。显而易见的原因是诚实：如果一项评测只报告自己设法查明的内容，你就无法判断它的可信尺度，因为你不知道空白单元格代表“没有内容可报告”，还是“我们没有调查”。另一个不那么明显的原因是，这些条目本身也提供了信息。一个坚定的外部观察者能看到产品的多少内容，是产品的真实属性；4列失败记录会告诉你，哪些公司认定不透明本身就是一种功能。

这些条目会写得具体，而不是泛泛而谈。不会只写“我们不太了解它的提示词”，而会写明尝试了多少次，以及得到了什么结果。也不会只写“记忆机制不明确”，而会写明结构的哪一部分已经显现，哪一部分仍未显现。

## 为什么个人智能体仍然没有综合分数

首批任务运行结果已经出炉，我们公布的是附带区间和样本量的结果，而非排名。仍然没有综合分数，因为把彼此独立的测量合成一个数字，就意味着替你决定各项有多重要，而我们并不知道答案。有一款产品的数据未予公布，因为我们拿到的数字与能够核查的记录对不上。

对照表中的第一批结果展示了完成率、95% 区间和计分任务数，并按样本量而不是完成率排序。Town 尚未核对一致的数据仍不公布。这些数据来自经过调整的运行时考试，批次证据未公开。旁边的10月批次在这一点上不同：其背后的每次尝试都有记录，而且我们已根据这些记录核对数据。[已记录的运行](https://personalagentbench.com/runs/)记载了每次尝试，[考试方法](https://personalagentbench.com/how-the-exam-works/)则说明如何核查结果。所有这些测量都不会合并成单一产品分数。

试一试：需要多少项任务，10个百分点的差距才有意义

这里有2个虚构的智能体。一个完成了55%的任务，另一个完成了45%。拖动控件，可改变每个智能体参与评分的任务数量。

- 智能体 A · **55%** (34–74) ·
- 智能体 B · **45%** (26–66) ·

**两个区间重叠。** 当两者各有20项任务时，这一差距仍在测量噪声范围内；把 A 排在 B 前面只能算猜测。

另一个同类对照表 [Assistant Benchmark](https://assistantbenchmark.com/)由1个人根据实际使用进行评分，每个类别满分10分，未测试的单元格留空。这是发布证据的一种合理方式。我们在2026年10月22日查看时，其综合榜单最后更新于10月19日，最多按15个评分类别为29款助手给出了总分。随后，它把每款产品汇总为一个总分和一个排名，而出于上述原因，这正是本对照表不会采取的最后一步。[基准评测页面](https://personalagentbench.com/benchmarks/)将它与另一份消费者对照表并列，后者对相同的2款产品给出了相反排序。

### 这份对照表有意不衡量的3件事

价格不是一个维度。定价变化的速度快于比较页面的更新速度，过期价格看起来很权威，实际上却是错的。当前价格会标注日期，列在各产品页面中。

输出质量也不是一个维度。智能体写出的电子邮件是否像样，是一种因任务而异的判断，对其评分往往衡量的是评分者本人。任何拥有账号的人都能核查运行时事实，因此我们发布的是这类内容。

我们自己的产品不会出现在表中，以后也不会。Zentor 开发智能体软件，利益冲突确实存在。不参与评测，是唯一经得住持怀疑态度的读者检验的处理方式。[谁在运营这项评测](https://personalagentbench.com/about/)说明了其他相关情况，包括网站的资金来源。

该表只涵盖运行时拆解。单独的[开源智能体比较](https://personalagentbench.com/open-source-personal-agents/)记录了基于固定源码版本的发现，不添加考试分数。[关于 Personal Agent Bench](https://personalagentbench.com/about/)解释了如何区分观察结果、外部报告和考试测量，以及哪些地方无法进行独立验证。

单独的[114项任务比较](https://personalagentbench.com/)涵盖 Town。其旧版本、筛选方式和未公开的转录记录限制了解读空间，因此不能取代主表。

| 产品 | 有记录的用途或设计 | 标注日期的价格 |
| --- | --- | --- |
| Pine | 致电公司 | [按周显示的个人价格和按月显示的工作价格](https://personalagentbench.com/agents/pine/#pricing) |
| Instinct | 通过消息处理工作 | [主要条款中没有金额](https://personalagentbench.com/agents/instinct/#pricing) |
| Muse | 每位用户独享 VM，并连接相关服务 | [免费使用及第三方付费方案快照](https://personalagentbench.com/zh-cn/agents/muse/#pricing) |
| Town | 简报和定时例行任务 | [免费及付费方案](https://personalagentbench.com/agents/town/#pricing) |

## 常见问题

**如何在不打分的情况下比较 AI 智能体？** 向每款产品提出同样的6个问题，并将答案并排发布。比较需要相同的问题和诚实的答案，不需要在底部放一个总分，而总分恰恰会掩盖判断过程。

**为什么各维度权重相同？是否存在单一分数？** 它们根本没有权重，也不存在单一分数。设置权重意味着要判断“模型在服务端运行”相较于“记忆是你可以打开的文件”有多重要，而这完全取决于你的具体情况。任何发布综合分数的人，都在没有说明的情况下替你做出了这个决定。

**这6个维度从何而来？** 来自拆解报告。我们先拆解了4款产品，再根据它们之间真正不同的地方建立这些维度。因此，这些维度才会如此具体，而不是采用功能表常见的类别。

**你们如何测试 AI 智能体的表现？** 通过一项单独进行的日常事务考试。9月的数据来自运行考试的团队，背后没有公开的批次记录。在10月11日的批次中，4款产品分别接受了同样的20项任务，每项只执行1次(Pine 因考试故障而没有数据)，我们根据每次尝试的记录核对了数据。两批结果及其区间都列在对照表中，且都不会与拆解报告的答案相加。

**比较 AI 智能体时应该关注什么？** 它在哪里运行、能够接触什么、记忆存在哪里、行动前会询问什么、哪些事情能在你不介入时启动它，以及哪些信息无人能够查明。然后检查使用资格，并在厂商自己的页面上查询当前价格。拆解观察涉及账号内可见的行为，因此你可以使用自己的账号核查；对于我们无法观察的内容，会放在最后一行，而不是含糊带过。

## 基于可核查证据比较 AI 智能体

这里的方法并不复杂：向每款产品提出同样的6个问题，记录你看到的内容，如实说明未能查明的地方，并且不要把结果相加成一个数字。

这样得到的是一个可供质疑的页面。每个单元格都指向可观察的行为，因此持不同意见的读者有具体的质疑对象。你可以查看产生这些维度的4份[拆解报告](https://personalagentbench.com/agents/)、[对照表](https://personalagentbench.com/)本身，或了解[现有智能体基准评测衡量什么](https://personalagentbench.com/benchmarks/)，以及为何它们都没有回答这个问题。

## 贯穿每款智能体的问题

其中一些问题拥有独立页面，不是逐一考察产品，而是向我们所知的每款产品提出同一个问题。

- [**让 AI 智能体 24/7 运行：运行时架构与限制**运行位置 · 让 AI 智能体 24/7 运行：比较云服务、本地计算机与自托管成本，涵盖4种经过检查的运行时，并单独标注厂商声明。](https://personalagentbench.com/where-it-runs/)
- [**主动式 AI 智能体：什么会启动它们，它们行动前会询问什么**你如何使用它 · 将主动式 AI 智能体映射到已发表的研究框架：什么能够启动我们拆解过的每款产品，以及它行动前会询问什么。](https://personalagentbench.com/proactive-ai-agents/)
- [**你的网站适合智能体访问吗？个人智能体打开网站时会做什么**运行位置 · 一个适合智能体访问的网站需要什么，依据我们的日志和拆解报告：4款个人智能体如何打开页面，以及就绪状态检查工具遗漏了什么。](https://personalagentbench.com/agent-ready-website/)
- [**Personal Agent Protocol (Poppy)：草案写了什么，谁已经推出相关支持**需要你批准的操作 · 直接解读 Personal Agent Protocol (Poppy) 草案：poppy.json 包含什么，读写作用域为何被移除，以及哪些合作伙伴发布了该文件。](https://personalagentbench.com/personal-agent-protocol/)

---

Published by Personal Agent Bench (https://personalagentbench.com), run by the Zentor team. Zentor builds agent software of its own, so its products are not on the scorecard and will not be added.
