手机智能体:11款操作真实手机的开源工具
手机智能体是一类让语言模型操作真实手机的软件:它查看屏幕,决定点击哪里,然后在原本只为手指操作设计的应用中完成点击。2026年10月,这个概念从研究演示进入 GitHub 热门榜,带头的是一个让 Codex 操作 iPhone 的插件。本页根据源码对比11款开源工具,版本固定在我们于10月13日阅读的提交,最后加入的2款则固定在10月19日阅读的提交。我们关注每款工具如何接入手机、把什么发送到哪里、何时停下来征求你的意见,以及如何说明应用自身的规则。我们没有实际运行其中任何一款。利益披露:本网站背后的团队 Zentor 也开发 phone use 软件。其中一款工具 Oh My Phone Use 是 Zentor 成员以个人 GitHub 账号发布的 side project,表格中已作标注。我们按同一套清单审阅它,并与其他工具一样不予评分。其余10款均为竞品。关于我们。
- 接入手机有4条路径:Apple 的测试自动化框架、屏幕镜像配合模拟键盘和鼠标、Android 调试桥与无障碍服务,以及租用他人云端的手机。
- 在每款工具中,屏幕上的内容都会发送给语言模型。只有1款工具在代码中为敏感点击设置了拦截,而且即便如此,是否触发拦截也由模型决定。
- 有2款工具默认向开发方发送使用事件,其中可能包含你要求智能体执行的任务。
- 有1个框架附带的代码明确旨在让点击看起来像真人操作,其云服务还销售“隐身”能力。另1款则在代码中拒绝滑动通过反机器人检查。11款工具都没有讨论账号封禁问题。
什么是手机智能体,本页不涵盖什么
这里的每款工具都把模型与查看手机屏幕、操作手机的方式组合起来。模型接收截图、屏幕元素树,或同时接收两者,选择点击、滑动或按键,然后重复这一过程。它相当于手机上的“computer use”智能体,可以进入浏览器智能体无法触及的地方:WeChat、银行应用、外卖应用,以及任何没有网页版的应用。
本页涵盖需要自行安装的开源工具,不包括内置于手机操作系统的助手,因为它们是手机本身的功能,并非可供审查的工具;也不包括由厂商服务器代用户办事的消费级应用。后两类产品属于我们持续追踪的个人智能体和已经拆解过的产品。11款工具中的 OpenGUI 采用 Business Source License 1.1,该许可证在2030年之前限制生产用途,因此它属于源码可用,而非开源。OpenGUI 许可证。
我们在10月19日阅读的另外2个 iPhone 项目未列入表格。iphone-kit 把 Mac 变成蓝牙键盘和鼠标,并通过 Apple 的私有框架经 USB 开启 AssistiveTouch,因此既不需要开发者模式,也不需要额外的开发板;但它没有许可证文件,意味着保留所有权利。iphone-kit 工作机制。RC Pair 的 phone-open 通过 Apple 自有的开发者服务,让 Linux 电脑控制 iPhone 或 iPad;它没有附带智能体,手机应用也不在代码仓库中,其 Functional Source License 在2年内禁止竞争性用途。phone-open 许可证,phone-open 架构。
手机智能体接入手机的4条路径
| 路径 | 智能体在哪里运行 | 如何查看屏幕 | 如何执行操作 | 手机端需要什么 | 工具 |
|---|---|---|---|---|---|
| Apple 测试自动化 | Mac、同一 Wi-Fi 下的另一台电脑,或手机本身的智能体应用 | 由 iPhone 上的测试运行器读取元素树和截图 | 通过 Apple 的 XCTest 模拟点击和输入 | 需要自行签名并安装的运行器、开发者模式;iCTRL 在没有 Mac 时,还需要 SideStore 中的免费 Apple ID 和 Apple 的 Developer Disk Image | iPhone Use、iCTRL;iOS 上的 Droidrun 和 AutoGLM |
| 屏幕共享加模拟输入 | 电脑,或手机本身的智能体应用 | 镜像或共享屏幕的截图 | 一块伪装成 USB 或蓝牙键盘和鼠标的小型开发板,或通过 macOS iPhone Mirroring 发送输入 | AssistiveTouch,有时还需自行签名的屏幕共享应用,或 Mac 的辅助功能和屏幕录制权限 | esp32-iphone-agent(AirPlay 加一块7美元的开发板)、Oh My Phone Use(屏幕共享应用加蓝牙 ESP32 开发板)、ipad_computer_use(屏幕共享应用加 USB RP2040 开发板)、anan-iphone-use(iOS 屏幕共享加 M5Stack StopWatch 开发板)、phone-harness(macOS iPhone Mirroring) |
| Android 调试与无障碍服务 | 通过 USB 或 Wi-Fi 连接的电脑 | 无障碍树、截图,或两者兼有 | ADB 命令,或无障碍服务应用 | USB 调试和无障碍权限,后者几乎可以查看并操作一切 | Droidrun、AutoGLM、mobile-use、OpenGUI、Android 上的 phone-harness |
| 他人云端的手机 | 你的电脑或厂商服务器 | 通过互联网远程查看 | 通过互联网远程操作 | 你的手机无需安装任何东西:你租用一台托管设备,并在一部自己拿不到的手机上登录账号 | Mobilerun Cloud、phone-harness cloud |
来源:esp32 路径、Oh My Phone Use 路径、ipad_computer_use 路径、phone-harness 路径、Droidrun Android 设置、AutoGLM 要求。
接入路径决定了可能出现哪些问题。屏幕镜像类工具只能看到手机愿意镜像的内容。据 esp32 项目称,iOS 不会镜像密码输入或 Apple Pay。镜像限制。无障碍服务几乎可以查看并操作一切。使用云手机则意味着,你已登录的账号存在于一台你从未触碰过的硬件上。
有2款工具允许智能体本身在手机上运行。iCTRL 是一个在 iPhone 上提供 JSON-RPC API 的 XCTest 运行器,其开发者的手机端智能体 Minis 会在本机调用它;同一网络中的任何智能体也可以调用。iCTRL 设计,智能体运行位置。anan-iphone-use 在一块小型开发板上运行 MCP 服务器,通过 USB 或蓝牙完成输入和点击,同一部 iPhone 上的智能体应用则借助 iOS 屏幕共享观察画面,这要求 iOS 27 或更高版本。anan-iphone-use 设计,系统要求。两者都没有消除配置成本。iCTRL 仍然需要开发者模式和签名证书,免费账号必须每7天刷新一次证书。iCTRL 免费账号限制。开发板的键盘和鼠标不需要开发者模式,但 anan-iphone-use 自己的设置说明指出,目前采用开发者签名的手机应用构建版本需要开启该模式,而且这款应用尚未发布。anan-iphone-use 设置。
这些路径能深入系统的程度也不同,而这种深度才是你真正授予的权限。手机可以向智能体提供3个层级的访问深度。最浅层是操作系统为单项任务提供的接口:获得通知访问权限的 Android 应用会收到每条通知并可将其清除,但不能进入你的其他应用执行点击;在 iPhone 上,应用可以通过 App Intents 提供具名操作,供 Siri 和 Shortcuts 运行。Android 通知访问,Apple App Intents。中间层是特定应用自行选择开放的能力,例如用于打开预填邮件或地图搜索的 Android intent;它只能触及该应用开发者已经开放的部分。Android 常见 intent。最深层是直接操作屏幕,可通过 Android 调试桥、无障碍服务或 Apple 的 XCTest 实现。无障碍服务在后台运行,可以请求读取你当前查看窗口的内容,Android 自己的参考文档称,这类服务只应当用于帮助残障用户。调试桥则会在设备上打开 shell,可启动应用并执行其他系统操作。Android 无障碍服务,Android 调试桥。
本页的11款工具全部工作在最深层。只有这一层能进入未开放任何接口的应用,这也是手机智能体能够在外卖应用中下单的原因。它同时意味着,一项权限会把银行应用和消息应用一并涵盖,而更浅层的接口只会覆盖一项任务。当某款工具的设置流程要求开启 USB 调试或无障碍服务时,你授予的正是这种权限。
11款开源手机智能体对比
| 工具 | 手机 | 路径 | 默认模型 | 代码中的确认机制 | 使用遥测 | 许可证 |
|---|---|---|---|---|---|---|
| iPhone Use | iPhone | WebDriverAgent、USB | 宿主的模型(Codex 等) | 拒绝密码字段;未经验证的提交会停止批处理 | 在 Codex 安装中默认开启 | MIT |
| esp32-iphone-agent | iPhone | AirPlay 加 ESP32 键盘和鼠标 | 任意兼容 OpenAI 的端点 | 无,仅有紧急停止 | 未发现 | MIT |
| Oh My Phone Use(Zentor side project) | iPhone、iPad | 屏幕共享应用加蓝牙 ESP32 键盘和鼠标;还能拨打电话 | 通过 MCP 使用宿主的模型 | 无;skill 文本要求先询问 | 未发现 | MIT |
| ipad_computer_use | iPad、USB-C iPhone | 屏幕共享应用加 USB RP2040 键盘和鼠标 | 通过 MCP 使用宿主的模型 | 无 | 未发现 | MIT |
| phone-harness | iPhone、Android、云端 | iPhone Mirroring 加 OCR;ADB | 宿主智能体的模型 | 无;skill 文本要求先询问 | 开启;包含任务文本 | MIT |
| Droidrun | Android、iPhone | ADB 加无障碍应用;WebDriverAgent | 示例配置中的 gemini-3.8-flash | 无 | 开启;包含目标文本 | MIT |
| Open-AutoGLM | Android、HarmonyOS、iPhone | ADB 或 HDC;WebDriverAgent | 本地部署的 AutoGLM-Phone-9B | 模型标记某次点击时显示是或否提示 | 未发现 | Apache-2.0 |
| mobile-use | Android、iPhone 模拟器 | ADB 加 UIAutomator2 | OpenAI GPT-5 系列 | 无 | 先征求同意 | Apache-2.0 |
| OpenGUI | Android | ADB 加 scrcpy;无障碍客户端 | 宿主的模型 | 后端提示词将付款和删除操作升级给用户 | 已禁用 | BUSL-1.1 |
| iCTRL | iPhone | 手机端自有 XCTest 运行器;智能体在手机上或同一 Wi-Fi 中 | 宿主智能体的模型 | 无;skill 文本要求先询问 | 未发现 | Apache-2.0 |
| anan-iphone-use | iPhone | iOS 屏幕共享加作为 USB 或蓝牙鼠标和键盘的 StopWatch 开发板 | 通过 MCP 使用客户端的模型 | 无;必须在开发板上开启控制 | 固件中没有;手机应用未发布 | GPL-3.0 |
11月5日的 GitHub star 数:Open-AutoGLM 26543、Droidrun 9962、iPhone Use 4905、phone-harness 4460(其代码仓库后来已迁移至 phone-harness 组织)、esp32-iphone-agent 4408、mobile-use 3363、OpenGUI 1807、iCTRL 582、anan-iphone-use 149、ipad_computer_use 81、Oh My Phone Use 18。10月13日,同一名单的数字为 Open-AutoGLM 26389、Droidrun 9632、iPhone Use 3504、mobile-use 3257、phone-harness 3253、OpenGUI 1816、esp32-iphone-agent 1189、ipad_computer_use 78、Oh My Phone Use 9。增长最快的是最年轻的2款:iPhone Use 创建于10月6日,esp32-iphone-agent 创建于10月11日,此后 esp32-iphone-agent 的 star 数增长了近4倍。Oh My Phone Use 从 ipad_computer_use 的一个快照起步,把 USB 开发板换成蓝牙开发板,并增加了电话功能。Oh My Phone Use 致谢。
手机智能体能看到什么,屏幕内容会去哪里
每款工具都会把你的屏幕转化为模型输入。Droidrun 默认读取无障碍树,并在需要时加入截图。Droidrun 视觉设置。mobile-use 同时发送 UI 层级结构和压缩截图。mobile-use 输入。phone-harness 会先通过本地 OCR 读取 iPhone。AutoGLM 把截图发送给视觉模型。AutoGLM 截图。iCTRL 读取无障碍树,当返回的树信息过少时,改用 Apple 的端侧文字识别。iCTRL 屏幕读取。anan-iphone-use 的开发板什么也看不到,截图来自客户端的屏幕共享。
无论采用哪种形式,屏幕内容都会进入你配置的模型。它可以留在你的机器上:AutoGLM 默认使用本地提供服务的自有 9B 模型,esp32-iphone-agent 也记录了本地方案。AutoGLM 默认设置。更常见的是发送给托管模型:mobile-use 默认使用 OpenAI,Droidrun 的示例配置使用 Google;iPhone Use、phone-harness、Oh My Phone Use、ipad_computer_use、iCTRL 和 anan-iphone-use 则使用驱动它们的智能体所采用的模型。mobile-use 默认设置。屏幕上的聊天、银行余额或一次性验证码都会成为发给该提供商的请求内容。iCTRL 自身还会产生2处较小的数据泄露:它的实时屏幕流在任何通道上都未加密;当它在手机上找不到某个应用名称时,可能会通过 Apple 的公开 iTunes 搜索查询。iCTRL 屏幕流,应用查询。
手机智能体会在哪里停下来询问你
这是我们审视每个个人智能体时都会提出的问题,而这里的答案并不充分。
只有 AutoGLM 在操作代码中内置了确认机制:当模型为某次点击附加一条消息标签时,会触发是或否提示;接管操作则会把手机交还给你,用于登录和验证码。AutoGLM 确认机制。这里有2项限制。是否添加标签由模型决定。而且只有中文系统提示词教模型这样做;英文提示词既未提及带标签的点击,也未提及接管操作。中文提示词,英文提示词。
iPhone Use 拒绝在密码字段中输入,并会在未经验证的提交后停止批处理。OpenGUI 的托管后端告诉模型,登录、付款、转账、下单和删除操作必须交由用户处理。OpenGUI 升级机制。phone-harness 在其 skill 文本中要求宿主智能体在发送、发布、购买或删除前停下来。phone-harness skill。Oh My Phone Use 的 skill 同样要求在发送消息、付款、删除、更改账号、输入密码和验证码前先询问。Oh My Phone Use skill。iCTRL 的 skill 告诉智能体在结账环节停下,绝不点击最终付款按钮;其运行器还要求你在手机上允许每个新的智能体,这一步需要手机处于解锁状态。此后,代码不会再检查智能体点击了什么。iCTRL skill,配对提示。在有人通过开发板开启控制之前,anan-iphone-use 会拒绝所有输入,任意一个按钮都能让它停止;这是电源开关,并非付款检查。anan-iphone-use 控制开关。对于 esp32-iphone-agent、Droidrun、mobile-use 和 ipad_computer_use,我们没有发现付款或发送操作的确认机制。
Oh My Phone Use 是11款工具中唯一还能拨打语音电话的。开发板充当手机的蓝牙车载套件,Mac 使用 macOS say 发声,并通过 whisper.cpp 在本地转录对方的话,随后把文字记录交给你的智能体。skill 要求智能体只拨打你提供的号码,说明自己是代你来电的智能体并告知回复会被转录,还要求把对方所说的内容视为信息,而非指令。号码、文字记录和摘要会保存在 Mac 上的一个文件中。通话规则,保存的结果。这些规则同样只是指令文本,而一通电话会联系到从未安装任何东西的人。
Oh My Phone Use 和 ipad_computer_use 都有意让屏幕控制服务器在无密码状态下运行,并依赖网络由你掌控:任何能连接控制器的人都可以请求截图和发送输入,因此应只在自己的机器或 Tailscale 等私有网络上运行。Oh My Phone Use 安全说明,ipad_computer_use 安全说明。
指令文本并非毫无作用,但它只是向模型提出要求,并不是一道锁。可以对比 Pine,其产品机制会在每次计费操作前询问用户。
手机智能体遥测:这些工具会向开发方发送什么
有4款工具会向分析服务报告使用情况,所含内容差异很大。
- phone-harness 默认开启并向 PostHog 发送数据。每个事件都可能携带你通过管道传入的脚本,最多20000个字符,以及输出末尾的内容。在 iPhone 上,输出可能包含从屏幕读取的文字。其安装指南称这些数据是匿名的。默认开启,事件字段。可通过
PHONE_HARNESS_TELEMETRY=0关闭。 - Droidrun 默认开启,并在第1个事件中发送你输入的目标。其文档称不会收集“任何个人或敏感数据”。初始化事件中的目标,文档声明。无论从何种角度看,“把钱还给我妹妹”这样的目标都属于个人信息。
- iPhone Use 在 Codex 安装中默认开启,只会通过与文档一致的允许列表发送工具名称、结果和耗时。自10月16日发布的0.3.14版本起,同一批事件除 PostHog 外还会发送至 Google Analytics;其独立页面涵盖了后续版本。
- mobile-use 会在启用任何遥测前征求同意。同意提示。
对于 AutoGLM、esp32-iphone-agent、Oh My Phone Use、ipad_computer_use 和 iCTRL,我们没有发现遥测;OpenGUI 的分析功能只有未实现的占位代码。anan-iphone-use 的固件没有遥测,但负责观察屏幕的手机应用尚未发布,因此我们无法确定它会发送什么。
隐身、账号封禁与AI操作手机
应用会察觉自动化。总是落在正中央的点击、速度完全均匀的输入和一模一样的设备指纹,都是典型信号;WeChat、Instagram 和外卖应用等平台也有自己的风控机制。11个代码仓库都没有说明账号被标记后会发生什么。
Droidrun 走向了另一个方向。其开源代码包含一种默认关闭的隐身模式,并直白说明了目的:随机化点击位置,“避免那些暴露自动化行为、可预测的正中央点击”,同时加入类似真人的操作间隔和输入速度。隐身状态,隐身设置。其托管服务 Mobilerun 宣传“隐身输入与滑动”,以及能被识别为真实设备的手机。phone-harness 的 README 则宣传“带隐身、真实号码、2FA”的托管手机。phone-harness README。
另一端,AutoGLM 的条款禁止批量账号、群控和虚假互动,并称该项目用于研究和学习。AutoGLM 条款。esp32-iphone-agent 要求用户遵守相关应用的条款。esp32 负责任使用说明。
iCTRL 是唯一在代码中避开应用防御机制的工具。如果它刚刚读取到的滑块或拼图检查区域是一次滑动或拖动的起点,操作会被拒绝,并向智能体显示消息,要求关闭该检查或将这一步报告为受阻;如果某个应用在10分钟内阻止操作3次,智能体会被要求停止使用它。其 README 还指出,模拟点击并不能保证绕过应用自身的机器人检测。拒绝验证码操作,触发风控后的退避,检测警告。
让应用看起来像由真人操作的软件,本质上就是为绕过该应用规则而设计的软件。无论你对此持何种看法,它都把风险转移到了你的账号上。
手机智能体基准测试:你看到的是谁的数据
有2个项目公布成功率,而且都是自行评测。mobile-use 称其在2026年1月率先完成 AndroidWorld 的全部任务,即116项中的116项。mobile-use 声明。Droidrun 的 README 徽章显示91.4%,其网站则称 AndroidWorld 上为100%,iOSWorld 与 AndroidWorld 合计为98.34%,但没有说明模型、日期或评测执行者。Droidrun 徽章。
iCTRL 公布的是速度而非成功率:每次点击约280毫秒,在8个应用中读取可见屏幕的耗时中位数为416毫秒。iCTRL 速度。
据我们所知,这些数字均未得到独立复现,而且2个“100%”的说法不可能都算新消息。由厂商自行运行的基准测试只是起点,不是结论。我们没有在自己的测试中运行任何手机智能体;它们在本站都没有得分。
常见问题
什么是手机智能体? 它是连接到真实手机的语言模型:以截图或元素树的形式查看屏幕,选择点击、滑动或按键,并重复操作直至任务完成。它可以在没有网页版或 API 的应用中工作。
AI无需越狱就能控制 iPhone 吗? 可以。iPhone Use、Droidrun 和 AutoGLM 使用由你自行完成开发者签名的 Apple WebDriverAgent;iCTRL 附带自有 XCTest 运行器,可使用免费 Apple ID 签名;esp32-iphone-agent 伪装成 USB 键盘和鼠标;Oh My Phone Use、ipad_computer_use 和 anan-iphone-use 把屏幕共享与小型开发板组合起来,通过蓝牙或 USB 实现同类操作;phone-harness 则控制 macOS iPhone Mirroring。它们都不需要越狱。
哪款手机智能体会在付款前询问用户? 从代码看,只有 AutoGLM,而且仅在其模型标记这次点击时才会询问,英文提示词并未教模型这样做。OpenGUI 的后端、phone-harness、Oh My Phone Use 和 iCTRL 通过给模型的指令提出这一要求。对于其他工具,我们没有发现付款确认机制。
在主力手机上使用手机智能体安全吗? 我们不建议这样做。手机解锁期间,智能体通常可以打开任何应用并点击任何位置;你的屏幕会发送给模型提供商;没有项目解释账号封禁风险。请使用备用手机和即使失去也能承受的账号。
手机智能体会把我的数据发送到其他地方吗? 你的屏幕会发送给你配置的模型。此外,phone-harness 和 Droidrun 默认发送可能包含任务文本的使用事件;iPhone Use 只发送工具名称和耗时;mobile-use 会先征求同意。
哪款开源手机智能体最好? 我们不做排名,也没有实际运行这些工具。上表展示了各自的取舍:AutoGLM 是唯一在代码中设置确认步骤的工具;iPhone Use 将默认遥测限制为工具名称和耗时;Droidrun 覆盖的平台最多,但附带隐身功能,并默认发送你的目标文本;iCTRL 则会拒绝对抗应用的反机器人检查。这是一项基于2026年10月13日和19日固定提交版本的源码审查,iPhone Use另有独立页面。