Personal Agent Bench

ほかの言語English简体中文한국어

iPhone Useをソースで読む:Codex iPhone 操作で何ができるのか

このページは 2026-11-05 時点の英語版を機械翻訳し、数値を原文と照合したものです。内容が食い違う場合は英語版が優先されます。

iPhone Useは、Codexと中国のデスクトップアシスタント2製品が、Macに接続された実機のiPhoneを操作できるようにするオープンソースのプラグインだ。アプリを開き、画面を読み取り、タップ、スクロール、文字入力を行える。2026年10月6日にGitHubで公開され、1週間後には3,504スターを獲得し、11月5日までに4,900を超えた。私たちが追跡するオープンソースのスマートフォン操作エージェントの中でも、特に急速に注目を集めた1つだ。私たちは実際には動かしていない。エージェントに任せてもよい予備のスマートフォンがなく、大切なアカウントで試すつもりもない。このページは、固定した1つのコミットのソースを読み解いたものだ。何ができるのか、どこで人間に操作を戻すのか、Macの外へ何が送られるのかを確認する。

  • iPhone Useはエージェントに18個のツールを提供する。7個は画面の読み取り専用で、残りは任意の場所のタップ、文字入力、インストール済みの任意のアプリの起動、1回の呼び出しで最大20ステップの実行など、画面上で操作する。
  • コードはパスワード欄への入力を拒否し、確認できない送信操作があるとバッチを停止する。送信や決済の扱いを含め、それ以外の保護策はすべて、モデルが従うよう求められる指示文にすぎない。
  • スクリーンショットと画面の要素ツリーは、ホスト側アシスタントが使用するモデルに送られる。Codex向けインストールでは、匿名の利用イベントもPostHogへ送信され、10月16日以降はデフォルトでGoogle Analyticsにも送られる。他の2つのインストーラーでは、どちらも無効になっている。
  • WeChatやAlipayなどのアプリがこの種の自動操作を検出するか、検出されたアカウントがどうなるかについて、リポジトリには何も書かれていない。

iPhone Useとは何か、誰が開発しているのか

プロジェクトはMITライセンスでzhongerxin/iPhone-useに公開されている。READMEでは、Codex、WorkBuddy、またはDoubaoのデスクトップワークアシスタントが、USB経由で実機のiPhoneを操作できるようにする仕組みと説明されている。アシスタントのサイドバーには、iPhone画面のライブビューも表示される。README。

開発のペースは速い。変更履歴は、10月7日の0.2.xから、このページで扱う10月16日の0.3.15まで続く。10月22日には0.3.16が公開され、後述する2つの分析基盤に明示的なアプリ起動イベントが追加された。匿名分析は10月9日の0.3.7で導入され、WorkBuddyとDoubaoのアダプターは10月13日にマージされた。第2の分析送信先であるGoogle Analyticsは0.3.14で追加され、18個目のツールは0.3.15で追加された。どちらも10月16日のことだ。私たちは10月13日に0.3.12を初めて読み、10月22日に0.3.15のコードを再確認した。このプロジェクトについて書かれたページは、ある時点のスナップショットにすぎない。確認したコミットは8000688だ。

探しに行く前に知っておくべき小さな矛盾が1点ある。READMEには今も、リポジトリは非公開でGitHubへのアクセス権が必要だと書かれている。READMEの50行目。実際には公開されている。ほぼ同じ名前の別プロジェクト、leeguooooo/iphone-useは異なる作者による別のツールであり、このページの対象ではない。

iPhone UseがCodexを実機のiPhoneへ接続する仕組み

構成要素は3つあり、すべてMacとiPhone上で動く。

構成要素概要実行場所
MCPサーバー標準ライブラリだけを使う1つのPythonファイル。ホスト側アシスタントがstdio経由で通信するMac
USBフォワーダー127.0.0.1:18100で待ち受け、iPhoneのポート8100へ転送する小さなNodeスクリプトMac
WebDriverAgentAppiumのオープンソースUI自動化サービス。16.14.0に固定され、自分のApple署名でビルドするiPhone

出典:MCPサーバー、フォワーダー、WDAのバージョンとビルド。

WebDriverAgentは、アプリ開発者がテストで自分のアプリを操作する際に使うものと同じテスト自動化サービスだ。iPhone Useはこれを別の用途に転用している。テストスクリプトではなく、言語モデルがどこをタップするか決める。クライアントは、Mac自身の上にないWebDriverAgentのアドレスとの通信を拒否する。コードにはWi-Fi経由の経路も見つからなかったため、iPhoneは接続したままにする必要がある。ループバック確認。

ライブ画面表示は、同じMCPサーバーが配信する小さなWebパネルだ。コンテンツセキュリティポリシーでは外部への接続が一切許可されていないため、プレビュー自体が外部へ通信することはない。ウィジェットのリソース。

iPhone Useのツール:エージェントが読めるもの、できること

READMEでは、モデル向けのツールを18個、プレビューパネルだけが使うツールをさらに2個としている。ツール一覧。コードでは各ツールが読み取り専用か破壊的操作かに分類されており、内容を理解するうえで役に立つ。アノテーション。

iPhoneを読み取るiPhoneを操作する
pua_observe:要素ツリー、スクリーンショット、またはその両方pua_tap:要素またはx/y座標でタップ
pua_find:要素を検索pua_type_text:文字を入力し、任意で送信
pua_wait:要素を待機pua_swipe、pua_scroll_find
pua_apps:アプリのバンドルIDを検索pua_launch_app:インストール済みの任意のアプリを開く
pua_doctor、pua_metrics:状態と所要時間pua_press_button:ホーム、音量
pua_screen:プレビューを開く、または一時停止pua_batch:1回の呼び出しで最大20ステップ
pua_screenshot:システムのスクリーンショットを写真に保存
pua_collect_list、pua_setup、pua_ready

このうち2つは、詳しく見る価値がある。pua_launch_appが確認するのは、バンドルIDの形式が正しいことだけで、それからアプリを開く。エージェントが開いてよいアプリ、開いてはいけないアプリの一覧はない。起動。また、pua_batchでは、モデルがタップ、文字入力、アプリ起動、待機を1度に最大20件つなげられる。これが高速に動く理由である一方、誤った前提が最も遠くまで影響する場面でもある。バッチ上限。

最新のpua_screenshotは、pua_observeが返すスクリーンショットとは異なる。iPhone自身のスクリーンショット機能を実行し、iOSがiPhone上の写真ライブラリへ保存する。そのため、エージェントは後からアプリ内で添付できる。ユーザーがサインインするためにプレビューを一時停止している間は、実行を拒否する。システムのスクリーンショット。

ファイルロックにより、iPhone上で2つの操作が同時に実行されることはない。第2の呼び出し元にはdevice_busyが返り、何も起こらない。操作ロック。

iPhone Useのセットアップで求められること、信頼するもの

脱獄も独立したAppiumサーバーも不要だが、それでも開発者向けのセットアップである。macOS、完全版のXcode、Python 3.9以降、Node 20.19以降が必要だ。要件。WebDriverAgentは、自分のAppleアカウントと開発チームで署名する。署名。

セットアップ用のスキルには、ユーザー本人にしかできない手順が記載されている。Xcodeへのサインイン、「このコンピュータを信頼」をタップ、Developer Modeを有効にして再起動、必要なら設定でUI Automationを有効化、開発者プロファイルを信頼し、iPhoneをロック解除した状態に保つ。手動手順。モデルには、認証情報を絶対に求めず、完了したと決めつけるのではなく、実際に「done」という回答があるまで待つよう指示されている。引き継ぎルール。

端的に言えば、Developer Modeを有効にしてWebDriverAgentを動かすと、iPhoneがロック解除されMacに接続されている間、Mac上のソフトウェアがiPhone全体を操作できる。それがこのツールの目的だ。同時に、銀行やメッセージングのアプリが入ったiPhoneを接続する前に理解しておくべき点でもある。

iPhone Useが人間に操作を戻す場面:パスワード、送信、決済

これはパーソナルエージェントにとって最も重要な部分で、保護策は2種類に分かれる。

コードで強制されるもの。 iOSがパスワードに使う種類のセキュアテキストフィールドへの入力は拒否され、代わりにユーザーへ依頼するようモデルに伝えるエラーが返る。セキュアフィールドへの入力拒否。文字入力後の送信は、明示的に求められない限り無効で、確認できない送信があるとバッチは停止する。送信のデフォルト設定とバッチ停止。分割して入力される長文は、入力を始めたアプリとフィールドにひも付けられる。どちらかが変われば、残りの文字は入力されない。継続入力の保護。

モデルに求められるもの。 それ以外はすべて、スキル内の指示文だ。パスワード、PIN、確認コード、Face IDは、プレビューを一時停止したうえでユーザーに引き継がれる。認証の引き継ぎ。メッセージは、送信先と下書き全文を確認したうえで、ユーザーが送信を許可した場合にのみ送られる。送信ルール。入力、送信、決済、注文の結果が不確かな場合は、必ず確認し、同じ操作を繰り返してはならない。再実行の禁止。

コードにもスキルにも見つからなかったのは、決済前にエージェントが必ず停止し、ユーザーに確認しなければならないというルールだ。スキルが防ぐのは2回支払うことであり、確認せずに1回支払うことではない。アプリが通常のテキストフィールドとして描画するパスワード欄も、コードによる検査の対象外となる。対応しているのはスキルの指示文だけだ。認証リファレンス。私たちが内部を調べた製品と比べると、Pineは請求に関するすべての操作前に確認を求め、Museは承認を1つのゲートキーパーに集約する。

iPhone Useの使用時にMacの外へ送られるもの

外部へ出るものは4つある。

  1. 画面がモデルへ送られる。 要素ツリーとスクリーンショットはホスト側アシスタントへ返され、アシスタントが使用するモデルに送信される。スクリーンショットは先にJPEGへ縮小され、原本はディスク上に残る。画像処理。チャット、残高、コードなど、画面に表示されているものはすべて画像に含まれる。
  2. アプリ検索がAppleへ送られる。 アプリのバンドルIDを調べる際、Appleの公開検索APIに問い合わせることがある。アプリ検索。
  3. 利用イベントがPostHogへ送られる。 Codexプラグインはデフォルトで匿名イベントを送信する。WorkBuddyとDoubaoのインストーラーは、--analyticsを渡さない限り分析を無効にする。デフォルト、WorkBuddyインストーラー。
  4. 同じイベントがGoogleへ送られる。 0.3.14以降、すべてのイベントはGoogle Analytics 4のMeasurement Protocolを通じて直接送信される。広告利用と広告のパーソナライズは拒否に設定されている。プラグインがそのGoogleストリームへ書き込むためのキーはリポジトリに同梱されており、ドキュメントによれば、これは所有者の判断だ。GA4送信処理、GA4に関する注記。

分析コードとANALYTICS.mdを比較したところ、内容は一致した。私たちが確認したバージョンには2種類のイベントがある。0.3.13では従来の3種類がツールイベントに統合され、その後0.3.16でアプリ起動イベントが追加された。含まれるのは、ランダムなインストールID、ツール名、結果、所要時間、エラーコードで、事前に名前が指定されていないフィールドは許可リストによって除外される。画面上のテキスト、スクリーンショット、セレクター、デバイスID、署名チームは送信されない。許可リスト。Googleが受け取るのは、PostHogと同じ許可リスト内のフィールドだ。IPHONE_USE_ANALYTICS=0またはDO_NOT_TRACK=1を設定すると両方が停止する。記録前と送信前の両方で確認される。Googleのいずれかの設定を空にすると、Googleだけが無効になる。オプトアウト。

ドキュメントに書かれていない点が2つある。イベントではPostHogの位置情報検索が無効になっているが、リクエスト時にはIPアドレスがPostHogのサーバーへ到達する。保存されるかどうかは、コードからは判断できない。Googleについては、リクエストのIPアドレスから大まかな位置情報を推定する可能性があると、現在はドキュメント自体に記載されている。IPに関する注記。また、他の2つのホストから送られた場合も含め、すべてのイベントにCodexプラグインから送信されたというラベルが付く。送信元ラベル。

iPhone Useとアカウント停止:リポジトリに書かれていないこと

XとXiaohongshuで共有されたデモには、WeChat Momentsのスクロールやフードデリバリーの注文が含まれている。いずれも、独自の自動操作対策を持つ企業のアプリ内で行われる操作だ。変更履歴にはWeChat向けの最適化が記載されているが、自動操作の検出を回避するものではなく、長いチャット一覧をより速く読み取るためのものだ。WeChatに関する注記。ランダムな遅延や人間らしい揺らぎは見つからなかった。文字入力は一定速度で行われる。文字入力の定数。これは偽りのない実装であり、自動操作を偽装するものが何もないことも意味する。

リポジトリには、プラットフォームの利用規約、リスク管理、アカウント停止について何も書かれていない。WeChat、Alipay、MeituanがWebDriverAgentによる入力を検出するかどうかは分からず、私たちも試していない。この情報不足はiPhone Useに限ったことではない。Droidrunを支えるホスティング型Androidサービスは逆の方向を取り、ステルス文字入力をうたっている。詳しくはスマートフォン操作エージェントの概要で扱っている。iPhone Useを試すなら、失っても許容できるiPhoneとアカウントを使うべきだ。

iPhone Useについて確認できなかったこと

  • 実際に動くか、どの程度の頻度で成功するか。 私たちは実行していない。プロジェクトは成功率を公開しておらず、ここに書かれている内容は測定結果ではない。私たちの試験には含まれておらず、スコアもない。
  • ホスト側が何を保存するか。 スクリーンショットはCodex、WorkBuddy、Doubaoと、それぞれのモデル提供者へ送られる。保存方針はこのリポジトリの範囲外だ。
  • PostHogとGoogleが、各イベントとともに届くIPアドレスをどのくらい保持するか。
  • 0.3.15より後のすべて。 現在の開発ペースでは、このページの詳細が数日以内に変わる可能性がある。固定リンクは、私たちが実際に読んだ内容を正確に示している。

FAQ

iPhone Useは安全に試せるのか? オープンソースで、分析機能もドキュメントの記載と一致している。これは多くのツールにはない点だ。しかし、エージェントはロック解除されたiPhoneで任意のアプリを開き、どこでもタップできる。コードレベルで停止するのは、パスワード欄と確認できない送信操作だけだ。決済前の確認はモデルに委ねられている。予備のiPhoneと、失っても許容できるアカウントを使うべきだ。

iPhone Useには脱獄が必要か? 必要ない。自分のApple開発チームで署名したAppiumのWebDriverAgentを使い、iPhoneではDeveloper Mode、Macでは完全版のXcodeを使用する。

iPhone UseはWi-Fi経由で動くのか? 私たちが確認したバージョンでは動かない。クライアントはMac上のフォワーダーを経由してWebDriverAgentとのみ通信し、Wi-Fi経由の経路は見つからなかった。

iPhone Useはどのような利用データを送信するのか? ツール名、結果、所要時間、エラーコード、ランダムなインストールIDを含む2種類の匿名イベントをPostHogへ送信し、0.3.14以降はGoogle Analyticsにも送信する。画面の内容、スクリーンショット、デバイスIDは送信しない。Codex向けインストールではデフォルトで有効、WorkBuddyとDoubao向けでは無効になっている。IPHONE_USE_ANALYTICS=0で両方を停止できる。

WeChatやAlipayでアカウント停止になるのか? 分からない。リポジトリからも分からない。アカウント停止やプラットフォームの利用規約には一度も触れていない。コードには自動操作を偽装する仕組みがない。

iPhone Useのインストール方法は? 完全版のXcode、Python 3.9以降、Node 20.19以降を備えたMacでリポジトリをクローンし、Codexプラグイン向けにsh scripts/install.shを実行する。WorkBuddyとDoubaoにはそれぞれ専用のインストーラーがある。次に、自分のAppleチームでWebDriverAgentに署名し、iPhone側でMacを信頼する。インストール手順。私たちはこの手順を読んだだけで、実行はしていない。ほかのスマートフォン操作エージェントは、概要ページで比較している。