iPhone Use 소스 분석: Codex로 iPhone에서 할 수 있는 일
iPhone Use는 Codex와 중국의 데스크톱 어시스턴트 2개가 Mac에 연결된 실제 iPhone을 조작할 수 있게 해주는 오픈 소스 플러그인이다. 앱을 열고, 화면을 읽고, 탭하고, 스크롤하고, 텍스트를 입력할 수 있다. 2026년 10월 6일 GitHub에 공개됐고, 1주일 뒤 스타 3,504개를 기록했으며, 11월 5일까지 4,900개를 넘어섰다. 우리가 추적하는 오픈 소스 폰 사용 에이전트 가운데 가장 빠르게 성장한 프로젝트 중 하나다. 우리는 이를 실행해 보지 않았다. 에이전트에 맡겨도 될 여분의 휴대전화가 없으며, 중요하게 사용하는 계정으로 테스트할 생각도 없다. 이 페이지는 하나의 고정된 커밋에서 소스를 읽고 정리한 것이다. 무엇을 할 수 있는지, 어떤 지점에서 사용자의 개입을 요구하는지, 어떤 데이터가 Mac 밖으로 나가는지를 살펴본다.
- iPhone Use는 에이전트에 18개 도구를 제공한다. 이 가운데 7개는 화면만 읽고, 나머지는 화면의 어느 곳이든 탭하거나, 텍스트를 입력하거나, 설치된 앱을 실행하거나, 한 번의 호출로 최대 20단계를 수행하는 등 실제 동작을 실행한다.
- 코드는 비밀번호 필드에 텍스트를 입력하지 않으며, 확인되지 않은 제출이 발생하면 배치 작업을 중단한다. 전송과 결제 처리 방식을 포함한 나머지 보호 조치는 모두 모델에 따르도록 요청하는 지침 텍스트다.
- 스크린샷과 화면의 요소 트리는 호스트 어시스턴트가 사용하는 모델로 전송된다. Codex 설치판은 익명 사용 이벤트도 PostHog로 보내며, 10월 16일부터는 기본적으로 Google Analytics에도 전송한다. 다른 2개 설치 프로그램은 두 전송을 모두 끈다.
- 저장소에는 WeChat이나 Alipay 같은 앱이 이러한 자동화를 감지하는지, 적발된 계정이 어떻게 되는지에 관한 설명이 없다.
iPhone Use란 무엇이며 누가 만드는가
이 프로젝트는 MIT 라이선스로 zhongerxin/iPhone-use에 공개돼 있다. README는 Codex, WorkBuddy 또는 Doubao의 데스크톱 업무 어시스턴트가 USB를 통해 실제 iPhone을 조작하고, 어시스턴트의 사이드바에서 휴대전화 화면을 실시간으로 볼 수 있게 해주는 도구라고 설명한다. README.
개발 속도는 빠르다. 변경 기록은 10월 7일의 0.2.x부터 이 페이지에서 다루는 10월 16일의 0.3.15까지 이어진다. 이후 10월 22일에는 아래에서 설명하는 2가지 분석 항목에 명시적인 앱 실행 분석 이벤트를 추가한 0.3.16이 나왔다. 익명 분석 기능은 10월 9일 0.3.7에서 도입됐고, WorkBuddy와 Doubao 어댑터는 10월 13일 병합됐다. 두 번째 분석 대상인 Google Analytics는 0.3.14에서 추가됐으며, 18번째 도구는 0.3.15에서 추가됐다. 두 버전 모두 10월 16일에 나왔다. 우리는 10월 13일 0.3.12를 처음 읽었고, 10월 22일 0.3.15의 코드를 다시 읽었다. 이 프로젝트를 다룬 페이지는 한 시점의 스냅샷일 수밖에 없다. 우리가 읽은 커밋은 8000688이다.
찾아보기 전에 알아둘 만한 작은 모순이 하나 있다. README에는 여전히 저장소가 비공개이며 GitHub 접근 권한이 필요하다고 적혀 있다. README 50번째 줄. 실제로는 공개 저장소다. 이름이 거의 같은 또 다른 프로젝트 leeguooooo/iphone-use는 다른 개발자가 만든 별개의 도구이며, 이 페이지에서 다루는 대상이 아니다.
iPhone Use가 Codex를 실제 iPhone에 연결하는 방식
구성 요소는 3개이며, 모두 사용자의 Mac과 iPhone에서 실행된다.
| 구성 요소 | 정체 | 실행 위치 |
|---|---|---|
| MCP 서버 | 표준 라이브러리만 사용하는 Python 파일 1개로, 호스트 어시스턴트와 stdio를 통해 통신 | Mac |
| USB 포워더 | 127.0.0.1:18100에서 수신해 휴대전화의 8100 포트로 전달하는 소형 Node 스크립트 | Mac |
| WebDriverAgent | Appium의 오픈 소스 UI 자동화 서비스로, 16.14.0에 고정돼 있으며 사용자의 Apple 서명으로 빌드 | iPhone |
출처: MCP 서버, 포워더, WDA 버전 및 빌드.
WebDriverAgent는 앱 개발자가 테스트에서 자신의 앱을 조작할 때 사용하는 것과 같은 테스트 자동화 서비스다. iPhone Use는 이를 다른 용도로 활용한다. 테스트 스크립트 대신 언어 모델이 무엇을 탭할지 결정한다. 클라이언트는 Mac 자체에 있지 않은 WebDriverAgent 주소와의 통신을 거부하며, 코드에서 Wi-Fi 연결 경로를 찾지 못했다. 따라서 휴대전화는 계속 유선으로 연결돼 있어야 한다. 루프백 검사.
실시간 화면 보기는 같은 MCP 서버가 제공하는 작은 웹 패널이다. 콘텐츠 보안 정책이 외부 연결을 모두 차단하므로, 미리보기 자체는 외부로 데이터를 보내지 않는다. 위젯 리소스.
iPhone Use 도구: 에이전트가 읽고 실행할 수 있는 것
README에 따르면 모델용 도구는 18개이고, 미리보기 패널에서만 사용하는 도구가 2개 더 있다. 도구 목록. 코드는 각 도구를 읽기 전용 또는 파괴적 작업으로 표시한다. 도구를 파악하는 데 유용한 구분이다. 주석.
| 휴대전화에서 읽는 작업 | 휴대전화에서 실행하는 작업 |
|---|---|
pua_observe: 요소 트리 및/또는 스크린샷 | pua_tap: 요소 또는 x/y 좌표로 탭 |
pua_find: 요소 찾기 | pua_type_text: 텍스트 입력, 선택적으로 제출 |
pua_wait: 요소가 나타날 때까지 대기 | pua_swipe, pua_scroll_find |
pua_apps: 앱의 번들 ID 찾기 | pua_launch_app: 설치된 모든 앱 실행 가능 |
pua_doctor, pua_metrics: 상태 및 시간 측정 | pua_press_button: 홈, 음량 |
pua_screen: 미리보기 열기 또는 일시 정지 | pua_batch: 한 번의 호출로 최대 20단계 실행 |
pua_screenshot: 시스템 스크린샷을 Photos에 저장 | |
pua_collect_list, pua_setup, pua_ready |
이 가운데 2개는 자세히 볼 필요가 있다. pua_launch_app은 앱을 열기 전에 번들 ID 형식이 올바른지만 확인한다. 에이전트가 열어도 되거나 열면 안 되는 앱 목록은 없다. 실행. pua_batch를 사용하면 모델이 탭, 텍스트 입력, 앱 실행, 대기 작업을 한 번에 최대 20개까지 연결할 수 있다. 여기서 속도가 나오지만, 잘못된 가정의 영향이 가장 멀리 퍼지는 지점이기도 하다. 배치 제한.
가장 최근에 추가된 pua_screenshot은 pua_observe가 반환하는 스크린샷과 다르다. iPhone 자체의 스크린샷 기능을 실행하며, iOS가 이를 휴대전화의 Photos 라이브러리에 저장한다. 그러면 에이전트가 앱 안에서 해당 이미지를 첨부할 수 있다. 사용자가 로그인할 수 있도록 미리보기가 일시 정지된 동안에는 실행되지 않는다. 시스템 스크린샷.
파일 잠금으로 휴대전화에서 2개 작업이 동시에 실행되는 것을 막는다. 두 번째 호출자는 device_busy를 받고 아무 작업도 실행되지 않는다. 작업 잠금.
iPhone Use가 사용자에게 요구하는 설정과 신뢰
탈옥이나 별도의 Appium 서버는 필요하지 않지만, 여전히 개발자용 설정이 필요하다. macOS, 전체 Xcode, Python 3.9 이상, Node 20.19 이상이 필요하다. 요구 사항. WebDriverAgent에는 사용자의 Apple 계정과 개발 팀으로 서명한다. 서명.
설정 스킬에는 사용자만 수행할 수 있는 단계가 나열돼 있다. Xcode에 로그인하고, "Trust This Computer"를 탭하고, Developer Mode를 켠 뒤 재시작하고, 필요한 경우 Settings에서 UI Automation을 활성화하고, 개발자 프로필을 신뢰하고, 휴대전화의 잠금을 해제한 상태로 유지해야 한다. 수동 단계. 모델에는 사용자에게 인증 정보를 절대 요구하지 말고, 완료됐다고 추정하지 말며 실제 "done" 응답을 기다리라는 지침이 주어진다. 사용자 인계 규칙.
쉽게 말하면, Developer Mode가 켜져 있고 WebDriverAgent가 실행 중이면 Mac의 소프트웨어가 잠금 해제돼 연결된 휴대전화 전체를 조작할 수 있다. 그것이 이 도구의 목적이다. 은행과 메시징 앱이 담긴 휴대전화를 연결하기 전에 이해해야 할 부분이기도 하다.
iPhone Use가 사용자에게 맡기는 지점: 비밀번호, 전송, 결제
개인 에이전트에서 가장 중요한 부분이며, 보호 방식은 2가지로 나뉜다.
코드로 강제되는 조치. iOS가 비밀번호에 사용하는 보안 텍스트 필드에는 입력을 거부하고, 대신 사용자에게 요청하라는 오류를 모델에 반환한다. 보안 필드 입력 거부. 텍스트 입력 후 제출은 요청하지 않는 한 꺼져 있으며, 확인할 수 없는 제출이 발생하면 배치가 중단된다. 제출 기본값 및 배치 중단. 여러 부분으로 나눠 입력하는 긴 텍스트는 입력을 시작한 앱과 필드에 묶인다. 둘 중 하나라도 바뀌면 나머지 텍스트는 입력되지 않는다. 연속 입력 보호 장치.
모델에 요청하는 조치. 그 밖의 모든 보호 조치는 스킬에 적힌 지침 텍스트다. 비밀번호, PIN, 인증 코드, Face ID는 미리보기를 일시 정지한 상태에서 사용자에게 넘긴다. 인증 인계. 메시지는 사용자가 전송을 승인했고, 수신자와 전체 초안을 확인한 경우에만 보낸다. 전송 규칙. 입력, 전송, 결제 또는 주문 결과가 불확실하면 다시 실행하지 말고 반드시 확인해야 한다. 재실행 금지.
우리가 코드나 스킬에서 찾지 못한 것은 결제 전에 에이전트가 반드시 멈추고 사용자에게 확인해야 한다는 규칙이다. 스킬은 결제를 2번 하는 것은 막지만, 묻지 않고 1번 결제하는 것은 막지 않는다. 앱이 일반 텍스트 필드처럼 그린 비밀번호 필드도 코드 검사를 벗어나며, 이 경우에는 스킬 텍스트만 보호 장치가 된다. 인증 참고 자료. 우리가 분석한 제품과 비교하면, Pine은 모든 청구 작업 전에 사용자에게 확인하고, Muse는 하나의 게이트키퍼를 통해 승인을 처리한다.
iPhone Use 사용 시 Mac 밖으로 나가는 데이터
외부로 나가는 것은 4가지다.
- 모델로 전송되는 화면. 요소 트리와 스크린샷은 호스트 어시스턴트에 반환되고, 호스트 어시스턴트는 이를 자신이 사용하는 모델로 전송한다. 스크린샷은 먼저 축소된 JPEG로 변환되며, 원본은 디스크에 남는다. 이미지 처리. 채팅, 잔액, 코드 등 화면에 보이는 모든 것이 그 이미지에 담긴다.
- Apple로 전송되는 앱 조회. 앱의 번들 ID를 찾을 때 Apple의 공개 검색 API에 질의할 수 있다. 앱 검색.
- PostHog로 전송되는 사용 이벤트. Codex 플러그인은 기본적으로 익명 이벤트를 전송한다. WorkBuddy와 Doubao 설치 프로그램은
--analytics를 전달하지 않는 한 분석 기능을 끈다. 기본값, WorkBuddy 설치 프로그램. - Google로 전송되는 동일한 이벤트. 0.3.14부터 모든 이벤트는 Measurement Protocol을 통해 Google Analytics 4에도 직접 전송되며, 광고 사용과 광고 개인 최적화는 거부됨으로 표시된다. 플러그인이 해당 Google 데이터 스트림에 쓸 수 있게 하는 키는 저장소에 포함돼 있다. 문서에 따르면 이는 소유자의 선택이었다. GA4 전송 코드, GA4 참고 사항.
우리는 분석 코드를 ANALYTICS.md와 비교했으며, 내용은 일치한다. 우리가 읽은 버전에는 2가지 이벤트 유형이 있다. 0.3.13에서 기존 3개 이벤트를 도구 이벤트에 통합했고, 이후 0.3.16에서 앱 실행 이벤트를 추가했다. 전송 항목은 무작위 설치 ID, 도구 이름, 결과, 소요 시간, 오류 코드이며, 사전에 지정하지 않은 모든 필드를 제거하는 허용 목록도 적용된다. 화면 텍스트, 스크린샷, 선택자, 기기 ID, 서명 팀은 전송되지 않는다. 허용 목록. Google은 PostHog와 동일하게 허용 목록으로 제한된 필드를 받는다. IPHONE_USE_ANALYTICS=0 또는 DO_NOT_TRACK=1로 설정하면 두 전송이 모두 중단되며, 기록 전과 전송 전에 각각 확인한다. Google 설정 중 하나라도 빈 값이면 Google 전송만 꺼진다. 수집 거부.
문서에서 빠진 세부 사항이 2개 있다. 이벤트는 PostHog의 위치 조회를 비활성화하지만, 요청 과정에서 사용자의 IP 주소는 여전히 PostHog 서버에 도달한다. 보관 여부는 코드만으로 알 수 없다. Google의 경우 이제 문서 자체에서 요청의 IP 주소를 바탕으로 Google이 대략적인 위치를 파악할 수 있다고 설명한다. IP 참고 사항. 또한 다른 2개 호스트에서 발생한 이벤트까지 포함해 모든 이벤트가 Codex 플러그인에서 온 것으로 표시된다. 소스 라벨.
iPhone Use와 계정 정지: 저장소가 말하지 않는 것
X와 Xiaohongshu에 공유된 데모에는 WeChat Moments를 스크롤하거나 음식 배달을 주문하는 장면이 포함돼 있다. 자체 자동화 방지 시스템을 운영하는 회사들의 앱 안에서 이뤄지는 작업이다. 변경 기록에는 WeChat 최적화가 언급되지만, 이는 감지를 피하기 위한 것이 아니라 긴 채팅 목록을 더 빠르게 읽기 위한 것이다. WeChat 참고 사항. 무작위 지연이나 사람과 비슷한 흔들림은 찾지 못했다. 텍스트는 고정된 속도로 입력된다. 입력 상수. 이는 솔직한 구현이며, 동시에 자동화를 위장하는 요소가 전혀 없다는 뜻이기도 하다.
저장소에는 플랫폼 약관, 위험 통제, 계정 정지에 관한 설명이 없다. WeChat, Alipay 또는 Meituan이 WebDriverAgent로 구동되는 입력을 감지하는지 알 수 없으며, 우리도 시험하지 않았다. 이런 공백이 iPhone Use에만 있는 것은 아니다. Droidrun의 기반이 되는 호스팅 Android 서비스는 반대로 은밀한 텍스트 입력을 내세우며, 이에 관해서는 폰 사용 에이전트 개요에서 다룬다. iPhone Use를 사용해 본다면, 잃어도 감당할 수 있는 휴대전화와 계정에서 시험해야 한다.
iPhone Use에서 확인할 수 없었던 것
- 실제로 작동하는지, 얼마나 자주 성공하는지. 우리는 실행해 보지 않았다. 프로젝트는 성공률을 공개하지 않으며, 여기에 적힌 내용은 측정 결과가 아니다. 우리 시험 대상에 포함되지 않았고 점수도 없다.
- 호스트가 무엇을 보관하는지. 스크린샷은 Codex, WorkBuddy 또는 Doubao와 이들이 사용하는 모델 제공업체로 전송된다. 보관 정책은 이 저장소의 범위를 벗어난다.
- PostHog와 Google의 보관 정책. 각 이벤트와 함께 도착하는 IP 주소를 어떻게 보관하는지 확인하지 못했다.
- 0.3.15 이후의 모든 사항. 현재 개발 속도를 고려하면 이 페이지의 세부 내용은 며칠 안에 바뀔 수 있다. 고정된 링크는 우리가 정확히 무엇을 읽었는지 보여준다.
FAQ
iPhone Use를 안전하게 시험할 수 있는가? 오픈 소스이며 분석 기능이 문서와 일치한다. 많은 도구보다 나은 부분이다. 하지만 에이전트는 잠금 해제된 휴대전화에서 모든 앱을 열고 어디든 탭할 수 있으며, 코드 수준의 차단 장치는 비밀번호 필드와 확인되지 않은 제출뿐이다. 결제 확인은 모델에 맡겨진다. 여분의 휴대전화와 잃어도 감당할 수 있는 계정을 사용해야 한다.
iPhone Use에 탈옥이 필요한가? 아니다. 사용자의 Apple 개발 팀으로 서명한 Appium의 WebDriverAgent를 사용하며, 휴대전화의 Developer Mode와 Mac의 전체 Xcode도 필요하다.
iPhone Use를 Wi-Fi로 사용할 수 있는가? 우리가 읽은 버전에서는 불가능하다. 클라이언트는 Mac의 포워더를 통해서만 WebDriverAgent와 통신하며, Wi-Fi 경로는 찾지 못했다.
iPhone Use는 어떤 사용 데이터를 전송하는가? 도구 이름, 결과, 소요 시간, 오류 코드, 무작위 설치 ID를 담은 2가지 익명 이벤트를 PostHog로 전송하며, 0.3.14부터는 Google Analytics에도 보낸다. 화면 내용, 스크린샷, 기기 ID는 전송하지 않는다. Codex 설치판에서는 기본적으로 켜져 있고, WorkBuddy와 Doubao 설치판에서는 꺼져 있다. IPHONE_USE_ANALYTICS=0으로 설정하면 두 전송을 모두 끌 수 있다.
이 때문에 WeChat이나 Alipay가 계정을 정지하는가? 알 수 없으며 저장소에서도 답을 제공하지 않는다. 계정 정지나 플랫폼 약관을 전혀 언급하지 않는다. 코드에는 자동화를 위장하는 요소가 없다.
iPhone Use는 어떻게 설치하는가? 전체 Xcode, Python 3.9 이상, Node 20.19 이상이 설치된 Mac에서 저장소를 복제하고 Codex 플러그인용 sh scripts/install.sh를 실행한다. WorkBuddy와 Doubao에는 각각 별도의 설치 프로그램이 있다. 그런 다음 사용자의 Apple 팀으로 WebDriverAgent에 서명하고, 휴대전화에서 Mac을 신뢰하도록 설정한다. 설치 단계. 우리는 이 단계를 읽었을 뿐, 직접 실행하지 않았다. 다른 폰 사용 에이전트 도구는 개요 페이지에서 비교한다.