AI 에이전트 폰 조작: 실제 휴대폰을 다루는 오픈소스 도구 11종
phone use 에이전트는 언어 모델이 실제 휴대폰을 조작하게 해주는 소프트웨어다. 화면을 보고 어디를 탭할지 판단한 뒤, 원래 엄지손가락 이외의 조작 수단을 고려하지 않고 만들어진 앱에서도 직접 탭한다. 2026년 10월, Codex가 iPhone을 조작하게 해주는 플러그인이 주도하면서 이 아이디어는 연구용 데모를 넘어 GitHub 트렌딩 목록에 올랐다. 이 페이지에서는 10월 13일에 확인한 커밋, 그리고 마지막으로 추가한 2개 도구는 10월 19일에 확인한 커밋을 기준으로 오픈소스 도구 11종의 소스 코드를 비교한다. 각 도구가 휴대폰에 연결되는 방식, 무엇을 어디로 보내는지, 어느 지점에서 사용자에게 확인을 요청하는지, 앱 자체의 규칙에 관해 무엇이라고 밝히는지를 살폈다. 우리는 이 도구들을 실행하지 않았다. 공개 사항: 이 사이트를 운영하는 Zentor 팀도 phone use 소프트웨어를 개발한다. 여기 소개한 도구 중 Oh My Phone Use는 Zentor 구성원들이 개인 GitHub 계정으로 공개한 사이드 프로젝트다. 표에 이를 명시했으며, 다른 도구와 똑같은 체크리스트로 검토했고 다른 도구들과 마찬가지로 점수를 매기지 않았다. 나머지 10개는 경쟁 제품이다. 회사 소개.
- 휴대폰에 접근하는 경로는 4가지다. Apple의 테스트 자동화 프레임워크, 미러링된 화면과 가상 키보드 및 마우스, Android 디버깅 브리지와 접근성 서비스, 다른 업체의 클라우드에서 빌린 휴대폰이다.
- 모든 도구에서 화면에 표시되는 내용은 언어 모델로 전송된다. 민감한 탭을 코드로 제한하는 도구는 1개뿐이며, 그 도구에서도 제한이 언제 작동할지는 모델이 판단한다.
- 2개 도구는 사용자가 에이전트에게 요청한 내용까지 포함할 수 있는 사용 이벤트를 기본적으로 개발사에 보낸다.
- 한 프레임워크에는 탭을 사람처럼 보이게 하는 것이 명시적인 목적인 코드가 포함돼 있으며, 해당 클라우드 서비스는 "stealth"를 판매한다. 다른 도구는 코드 차원에서 봇 방지 확인 화면을 스와이프하지 않는다. 11개 중 계정 정지를 다루는 도구는 하나도 없다.
phone use 에이전트란 무엇이며, 이 페이지에서 제외한 것은 무엇인가
여기 소개한 모든 도구는 모델과 함께 휴대폰 화면을 보는 수단, 화면을 조작하는 수단을 제공한다. 모델은 스크린샷이나 화면 요소 트리, 또는 둘 다를 받아 탭, 스와이프, 키 입력 중 하나를 선택하고 이 과정을 반복한다. 데스크톱을 조작하는 "computer use" 에이전트의 휴대폰 버전으로, 브라우저 에이전트가 접근할 수 없는 WeChat, 은행 앱, 배달 앱, 웹 버전이 없는 모든 곳에 접근한다.
이 페이지에서는 사용자가 직접 설치하는 오픈소스 도구를 다룬다. 휴대폰 운영체제에 내장된 어시스턴트는 검토할 수 있는 도구가 아니라 단말기의 기능이므로 제외했다. 공급업체 서버에서 사용자의 심부름을 처리하는 소비자용 앱도 제외했다. 이런 제품은 우리가 추적하는 개인용 에이전트와 직접 분해해 살펴본 제품에 해당한다. 11개 중 OpenGUI는 2030년까지 프로덕션 사용을 제한하는 Business Source License 1.1로 공개됐기 때문에 오픈소스가 아니라 소스 공개형 소프트웨어다. OpenGUI 라이선스.
10월 19일에 살펴본 iPhone 프로젝트 2개도 표에서 제외했다. iphone-kit은 Mac을 Bluetooth 키보드와 마우스로 바꾸고 Apple의 비공개 프레임워크를 통해 USB로 AssistiveTouch를 켠다. 따라서 Developer Mode나 별도의 보드가 필요하지 않다. 다만 라이선스 파일이 없어 모든 권리가 유보된 상태다. iphone-kit 작동 방식. RC Pair의 phone-open은 Apple 자체 개발자 서비스를 이용해 Linux 컴퓨터에서 iPhone이나 iPad를 조작한다. 에이전트가 포함돼 있지 않고 휴대폰 앱도 저장소에 없으며, Functional Source License는 2년 동안 경쟁 용도로 사용하는 것을 금지한다. phone-open 라이선스, phone-open 아키텍처.
phone use 에이전트가 휴대폰에 접근하는 4가지 경로
| 경로 | 에이전트 실행 위치 | 화면을 보는 방식 | 조작 방식 | 휴대폰에 필요한 것 | 도구 |
|---|---|---|---|---|---|
| Apple 테스트 자동화 | Mac, 동일한 Wi-Fi에 연결된 다른 컴퓨터 또는 휴대폰 자체의 에이전트 앱 | iPhone의 테스트 러너가 읽는 요소 트리와 스크린샷 | Apple XCTest를 통해 합성된 탭과 타이핑 | 사용자가 서명해 설치하는 러너와 Developer Mode. Mac 없이 iCTRL을 쓸 경우 SideStore의 무료 Apple ID와 Apple Developer Disk Image도 필요 | iPhone Use, iCTRL; iOS의 Droidrun과 AutoGLM |
| 화면 공유와 가상 입력 | 컴퓨터 또는 휴대폰 자체의 에이전트 앱 | 미러링되거나 공유된 화면의 스크린샷 | USB 또는 Bluetooth 키보드와 마우스로 동작하는 소형 보드, 또는 macOS iPhone Mirroring을 통해 전송되는 입력 | AssistiveTouch, 경우에 따라 사용자가 직접 서명한 화면 공유 앱, 또는 Mac 접근성 및 화면 기록 권한 | esp32-iphone-agent (AirPlay와 $7 보드), Oh My Phone Use (화면 공유 앱과 Bluetooth ESP32 보드), ipad_computer_use (화면 공유 앱과 USB RP2040 보드), anan-iphone-use (iOS 화면 공유와 M5Stack StopWatch 보드), phone-harness (macOS iPhone Mirroring) |
| Android 디버깅과 접근성 | USB 또는 Wi-Fi로 연결된 컴퓨터 | 접근성 트리, 스크린샷 또는 둘 다 | ADB 명령 또는 접근성 서비스 앱 | 거의 모든 것을 보고 조작할 수 있는 USB 디버깅과 접근성 권한 | Droidrun, AutoGLM, mobile-use, OpenGUI, Android의 phone-harness |
| 다른 업체의 클라우드에 있는 휴대폰 | 사용자 컴퓨터 또는 공급업체 서버 | 인터넷을 통해 원격으로 확인 | 인터넷을 통해 원격으로 조작 | 사용자 휴대폰에는 아무것도 필요하지 않다. 호스팅된 기기를 빌리고 직접 소유하지 않은 휴대폰에서 계정에 로그인한다 | Mobilerun Cloud, phone-harness cloud |
출처: esp32 경로, Oh My Phone Use 경로, ipad_computer_use 경로, phone-harness 경로, Droidrun Android 설정, AutoGLM 요구 사항.
어떤 문제가 생길 수 있는지는 접근 경로에 따라 달라진다. 화면을 미러링하는 도구는 휴대폰이 미러링을 허용하는 내용만 볼 수 있다. esp32 프로젝트에 따르면 iOS는 암호 입력이나 Apple Pay 화면을 미러링하지 않는다. 미러링 제한. 접근성 서비스는 거의 모든 것을 보고 조작할 수 있다. 클라우드 휴대폰을 사용하면 로그인된 계정이 사용자가 한 번도 만져보지 않은 하드웨어에 남는다.
2개 도구에서는 에이전트 자체가 휴대폰에서 실행된다. iCTRL은 iPhone에서 JSON-RPC API를 제공하는 XCTest 러너이며, 제작사가 만든 휴대폰 내 에이전트 Minis가 이를 로컬에서 호출한다. 같은 네트워크에 있는 다른 에이전트도 호출할 수 있다. iCTRL 설계, 에이전트 실행 위치. anan-iphone-use는 USB 또는 Bluetooth로 타이핑하고 탭하는 소형 보드에 MCP 서버를 설치한다. 같은 iPhone에 있는 에이전트 앱은 iOS 화면 공유를 통해 화면을 지켜보며, 이 기능에는 iOS 27 이상이 필요하다. anan-iphone-use 설계, 요구 사항. 어느 쪽도 설정 부담을 없애지는 못한다. iCTRL에는 여전히 Developer Mode와 서명 인증서가 필요하며, 무료 계정은 이를 7일마다 갱신해야 한다. iCTRL 무료 계정 제한. 보드의 키보드와 마우스에는 Developer Mode가 필요하지 않지만, anan-iphone-use 자체 설정 안내에 따르면 현재 개발자 서명 빌드인 휴대폰 앱에는 필요하며 이 앱은 아직 공개되지 않았다. anan-iphone-use 설정.
각 경로가 접근하는 깊이도 다르며, 실제로 사용자가 허용하는 것은 바로 이 깊이다. 휴대폰이 에이전트에 제공하는 접근 깊이는 3단계다. 가장 얕은 단계는 한 가지 작업을 위한 운영체제 인터페이스다. 알림 접근 권한을 받은 Android 앱은 각 알림의 내용을 전달받고 알림을 지울 수 있지만, 다른 앱 내부를 탭할 수는 없다. iPhone 앱은 Siri와 Shortcuts가 실행할 수 있는 이름 있는 동작을 App Intents로 제공할 수 있다. Android 알림 접근, Apple App Intents. 중간 단계는 특정 앱이 공개하기로 한 범위다. 예를 들어 내용이 미리 입력된 이메일이나 지도 검색을 여는 Android intent가 여기에 해당하며, 앱 제작자가 공개한 기능에만 접근한다. Android 공통 intents. 가장 깊은 단계는 Android 디버깅 브리지, 접근성 서비스 또는 Apple XCTest를 통해 화면 자체에 접근하는 것이다. 접근성 서비스는 백그라운드에서 실행되며 사용자가 보고 있는 창의 내용을 읽도록 요청할 수 있다. Android 자체 참고 문서는 이런 서비스를 장애가 있는 사용자를 돕는 용도로만 사용해야 한다고 명시한다. 디버깅 브리지는 기기에서 앱을 실행하고 다른 시스템 동작을 수행할 수 있는 셸을 연다. Android 접근성 서비스, Android 디버깅 브리지.
이 페이지에 소개한 11개 도구는 모두 가장 깊은 단계에서 작동한다. 아무것도 공개하지 않는 앱까지 접근할 수 있는 유일한 단계이며, phone use 에이전트가 배달 앱에서 주문까지 할 수 있는 이유도 여기에 있다. 동시에 더 얕은 인터페이스라면 한 가지 작업만 허용했을 권한 하나가 은행 앱과 메시지에 함께 적용된다는 뜻이기도 하다. 도구 설정 과정에서 USB 디버깅이나 접근성 서비스를 켜라고 요구한다면, 사용자가 부여하는 권한은 바로 이것이다.
오픈소스 AI 에이전트 폰 조작 도구 11종 비교
| 도구 | 휴대폰 | 경로 | 기본 모델 | 코드상 확인 절차 | 사용량 텔레메트리 | 라이선스 |
|---|---|---|---|---|---|---|
| iPhone Use | iPhone | WebDriverAgent, USB | 호스트의 모델 (Codex 등) | 암호 필드는 입력 거부, 검증되지 않은 제출은 일괄 작업 중단 | Codex 설치 시 활성화 | MIT |
| esp32-iphone-agent | iPhone | AirPlay와 ESP32 키보드 및 마우스 | OpenAI 호환 엔드포인트 모두 가능 | 없음, 비상 정지만 제공 | 발견하지 못함 | MIT |
| Oh My Phone Use (Zentor 사이드 프로젝트) | iPhone, iPad | 화면 공유 앱과 Bluetooth ESP32 키보드 및 마우스, 통화 기능도 제공 | MCP를 통한 호스트의 모델 | 없음, skill 텍스트에서 먼저 확인하도록 지시 | 발견하지 못함 | MIT |
| ipad_computer_use | iPad, USB-C iPhone | 화면 공유 앱과 USB RP2040 키보드 및 마우스 | MCP를 통한 호스트의 모델 | 없음 | 발견하지 못함 | MIT |
| phone-harness | iPhone, Android, cloud | iPhone Mirroring과 OCR, ADB | 호스트 에이전트의 모델 | 없음, skill 텍스트에서 먼저 확인하도록 지시 | 활성화, 작업 텍스트 포함 | MIT |
| Droidrun | Android, iPhone | ADB와 접근성 앱, WebDriverAgent | 예시 설정의 gemini-3.8-flash | 없음 | 활성화, 목표 텍스트 포함 | MIT |
| Open-AutoGLM | Android, HarmonyOS, iPhone | ADB 또는 HDC, WebDriverAgent | AutoGLM-Phone-9B, 자체 호스팅 | 모델이 탭에 표시를 붙이면 예 또는 아니요로 확인 | 발견하지 못함 | Apache-2.0 |
| mobile-use | Android, iPhone simulator | ADB와 UIAutomator2 | OpenAI GPT-5 family | 없음 | 먼저 확인 | Apache-2.0 |
| OpenGUI | Android | ADB와 scrcpy, 접근성 클라이언트 | 호스트의 모델 | 백엔드 프롬프트가 결제와 삭제를 사용자에게 넘김 | 비활성화 | BUSL-1.1 |
| iCTRL | iPhone | 휴대폰 자체의 XCTest 러너, 휴대폰 또는 동일한 Wi-Fi의 에이전트 | 호스트 에이전트의 모델 | 없음, skill 텍스트에서 먼저 확인하도록 지시 | 발견하지 못함 | Apache-2.0 |
| anan-iphone-use | iPhone | iOS 화면 공유와 USB 또는 Bluetooth 마우스 및 키보드 역할을 하는 StopWatch 보드 | MCP를 통한 클라이언트의 모델 | 없음, 보드에서 제어 기능을 켜야 함 | 펌웨어에는 없음, 휴대폰 앱은 미공개 | GPL-3.0 |
11월 5일 기준 GitHub 스타 수는 Open-AutoGLM 26,543개, Droidrun 9,962개, iPhone Use 4,905개, phone-harness 4,460개(이후 저장소가 phone-harness 조직으로 이전됨), esp32-iphone-agent 4,408개, mobile-use 3,363개, OpenGUI 1,807개, iCTRL 582개, anan-iphone-use 149개, ipad_computer_use 81개, Oh My Phone Use 18개다. 10월 13일 같은 목록의 수치는 Open-AutoGLM 26,389개, Droidrun 9,632개, iPhone Use 3,504개, mobile-use 3,257개, phone-harness 3,253개, OpenGUI 1,816개, esp32-iphone-agent 1,189개, ipad_computer_use 78개, Oh My Phone Use 9개였다. 가장 빠르게 증가한 것은 가장 최근에 나온 2개 도구다. iPhone Use는 10월 6일, esp32-iphone-agent는 10월 11일에 만들어졌으며, esp32-iphone-agent의 스타 수는 이후 거의 4배로 늘었다. Oh My Phone Use는 ipad_computer_use의 스냅샷에서 출발해 USB 보드를 Bluetooth 보드로 바꾸고 전화 통화 기능을 추가했다. Oh My Phone Use 크레디트.
phone use 에이전트가 보는 것과 화면 데이터가 전송되는 곳
각 도구는 사용자의 화면을 모델 입력으로 변환한다. Droidrun은 기본적으로 접근성 트리를 읽고, 요청받으면 스크린샷을 추가한다. Droidrun 비전 설정. mobile-use는 UI 계층 구조와 압축된 스크린샷을 모두 보낸다. mobile-use 입력. phone-harness는 먼저 로컬 OCR로 iPhone을 읽는다. AutoGLM은 비전 모델에 스크린샷을 보낸다. AutoGLM 스크린샷. iCTRL은 접근성 트리를 읽고, 트리에서 얻은 정보가 부족하면 Apple의 기기 내 텍스트 인식 기능으로 대체한다. iCTRL 화면 읽기. anan-iphone-use의 보드 자체는 아무것도 보지 못하며, 스크린샷은 클라이언트의 화면 공유에서 가져온다.
형태가 무엇이든 화면 정보는 사용자가 설정한 모델로 전송된다. 데이터가 사용자 컴퓨터 안에만 머물 수도 있다. AutoGLM은 로컬에서 제공되는 자체 9B 모델을 기본으로 사용하고, esp32-iphone-agent도 로컬 옵션을 문서화했다. AutoGLM 기본값. 더 흔한 경우는 호스팅 모델로 보내는 것이다. mobile-use는 OpenAI를 기본으로 사용하고 Droidrun의 예시 설정은 Google을 사용한다. iPhone Use, phone-harness, Oh My Phone Use, ipad_computer_use, iCTRL, anan-iphone-use는 이 도구들을 구동하는 에이전트가 사용하는 모델을 그대로 쓴다. mobile-use 기본값. 화면에 표시된 채팅, 은행 잔액 또는 일회용 코드가 해당 공급업체에 보내는 요청의 일부가 된다. iCTRL에는 자체적으로 발생하는 작은 유출 경로가 2개 더 있다. 실시간 화면 스트림은 어떤 채널에서도 암호화되지 않으며, 휴대폰에서 찾을 수 없는 앱 이름은 Apple의 공개 iTunes 검색을 통해 조회될 수 있다. iCTRL 스트림, 앱 조회.
phone use 에이전트가 사용자에게 확인하는 지점
이는 모든 개인용 에이전트에 던지는 질문이지만, 여기서 얻은 답은 빈약하다.
동작 코드에 확인 절차가 내장된 도구는 AutoGLM뿐이다. 모델이 메시지 표시를 붙인 탭은 예 또는 아니요를 묻는 메시지를 띄우며, 인계 동작은 로그인과 captcha 처리를 위해 휴대폰을 사용자에게 넘긴다. AutoGLM 확인 절차. 여기에는 2가지 한계가 있다. 표시를 언제 추가할지는 모델이 판단한다. 또 이 동작을 가르치는 것은 중국어 시스템 프롬프트뿐이다. 영어 프롬프트에는 표시가 붙은 탭이나 인계 동작이 모두 언급되지 않는다. 중국어 프롬프트, 영어 프롬프트.
iPhone Use는 암호 필드에 입력하기를 거부하고, 검증되지 않은 제출이 발생하면 일괄 작업을 중단한다. OpenGUI의 호스팅 백엔드는 로그인, 결제, 송금, 주문, 삭제를 사용자에게 넘겨야 한다고 모델에 지시한다. OpenGUI 에스컬레이션. phone-harness는 skill 텍스트를 통해 전송, 게시, 구매 또는 삭제 전에 중단하라고 호스트 에이전트에 요청한다. phone-harness skill. Oh My Phone Use의 skill은 메시지, 결제, 삭제, 계정 변경, 암호, 인증 코드 처리 전에 같은 확인을 요청한다. Oh My Phone Use skill. iCTRL의 skill은 결제 단계에서 중단하고 최종 결제 버튼은 절대로 탭하지 말라고 에이전트에 지시한다. 러너는 휴대폰에서 새 에이전트마다 사용자에게 허용 여부를 물으며, 이때 휴대폰 잠금이 풀려 있어야 한다. 그 이후에는 에이전트가 무엇을 탭하는지 코드에서 확인하지 않는다. iCTRL skill, 페어링 확인. anan-iphone-use는 누군가 보드에서 제어 기능을 켜기 전까지 모든 입력을 거부하고, 어느 버튼을 눌러도 중지된다. 이는 전원 스위치이지 결제를 확인하는 장치는 아니다. anan-iphone-use 제어 제한. esp32-iphone-agent, Droidrun, mobile-use, ipad_computer_use에서는 결제나 전송에 대한 확인 절차를 찾지 못했다.
11개 중 음성 통화까지 하는 도구는 Oh My Phone Use뿐이다. 보드는 휴대폰의 Bluetooth 차량용 키트 역할을 하고, Mac은 macOS say로 말하며 상대방의 말을 whisper.cpp로 로컬에서 받아쓴다. 이 대화 내용은 사용자의 에이전트로 전달된다. skill은 사용자가 제공한 번호에만 전화를 걸고, 사용자를 대신해 전화한 에이전트이며 답변이 받아쓰기된다는 사실을 밝히고, 상대방의 발언을 지시가 아니라 정보로 취급하도록 에이전트에 지시한다. 전화번호, 대화 내용, 요약은 Mac의 파일에 남는다. 통화 규칙, 저장되는 결과. 이 규칙들도 지시문일 뿐이며, 통화는 아무것도 설치하지 않은 사람에게까지 연결된다.
Oh My Phone Use와 ipad_computer_use는 모두 의도적으로 암호 없이 화면 제어 서버를 실행하며, 네트워크가 사용자 소유라는 전제에 의존한다. 컨트롤러에 접근할 수 있는 사람은 누구나 스크린샷을 요청하고 입력을 보낼 수 있으므로, 사용자 자신의 컴퓨터나 Tailscale 같은 비공개 네트워크에서만 사용해야 한다. Oh My Phone Use 보안, ipad_computer_use 보안.
지시문이 아무 의미도 없는 것은 아니다. 하지만 잠금장치가 아니라 모델에 보내는 요청이다. 제품의 일부로 모든 청구 작업 전에 확인하는 Pine과 비교해 볼 수 있다.
phone use 에이전트 텔레메트리: 도구가 개발사에 보내는 것
4개 도구가 분석 서비스로 사용량을 보고하며, 포함하는 내용에는 큰 차이가 있다.
- phone-harness는 기본적으로 활성화돼 있으며 PostHog로 데이터를 보낸다. 각 이벤트에는 파이프로 입력한 스크립트가 최대 20,000자까지 포함될 수 있고 출력의 마지막 부분도 담길 수 있다. iPhone에서는 여기에 화면에서 읽은 텍스트가 포함될 수 있다. 설치 안내서는 이를 익명이라고 표현한다. 기본 활성화, 이벤트 필드.
PHONE_HARNESS_TELEMETRY=0으로 끌 수 있다. - Droidrun은 기본적으로 활성화돼 있으며 첫 이벤트에서 사용자가 입력한 목표를 전송한다. 문서에는 "개인정보나 민감한 데이터"를 수집하지 않는다고 적혀 있다. 초기화 이벤트의 목표, 문서의 주장. "여동생에게 빌린 돈을 갚아줘" 같은 목표는 어떤 기준으로 보더라도 개인적인 내용이다.
- iPhone Use는 Codex 설치 시 기본적으로 활성화되며 도구 이름, 결과, 소요 시간만 보낸다. 허용 목록을 사용하며 문서의 설명과 일치한다. 10월 16일의 버전 0.3.14부터 같은 이벤트가 PostHog뿐 아니라 Google Analytics에도 전송된다. 별도 페이지에서 이후 버전을 다룬다.
- mobile-use는 어떤 항목이든 활성화하기 전에 묻는다. 동의 요청.
AutoGLM, esp32-iphone-agent, Oh My Phone Use, ipad_computer_use, iCTRL에서는 텔레메트리를 찾지 못했다. OpenGUI의 분석 기능은 스텁으로만 남아 있다. anan-iphone-use의 펌웨어에는 텔레메트리가 없지만, 화면을 감시하는 휴대폰 앱이 공개되지 않았으므로 무엇을 전송하는지는 알 수 없다.
Stealth, 계정 정지와 휴대폰을 조작하는 AI
앱은 자동화를 감지한다. 항상 정확히 중앙에 찍히는 탭, 완벽하게 일정한 속도의 타이핑, 똑같은 기기 지문은 대표적인 신호다. WeChat, Instagram, 배달 앱 같은 플랫폼에는 자체 위험 통제 장치도 있다. 11개 저장소 중 플래그가 지정된 계정에 어떤 일이 생기는지 설명하는 곳은 하나도 없다.
Droidrun은 반대 방향으로 간다. 오픈소스 코드에는 기본적으로 꺼져 있는 stealth 모드가 있으며, 목적도 분명하게 명시돼 있다. "자동화임을 드러내는 예측 가능한 정중앙 탭을 피하는" 무작위 탭 위치와 사람 같은 타이밍 및 타이핑 속도를 제공한다. Stealth 상태, stealth 설정. 호스팅 서비스인 Mobilerun은 "stealth typing & swiping"과 진짜 기기로 인식되는 장치를 광고한다. phone-harness의 README는 "with stealth, real numbers, 2FA"라는 문구로 호스팅 휴대폰을 홍보한다. phone-harness README.
반대편에서 AutoGLM의 약관은 대량 계정, 집단 제어, 가짜 참여를 금지하며 프로젝트가 연구와 학습용이라고 명시한다. AutoGLM 약관. esp32-iphone-agent는 관련 앱의 약관을 준수하라고 요청한다. esp32 책임 있는 사용.
iCTRL은 앱의 방어 장치를 만나면 코드 차원에서 물러나는 유일한 도구다. 방금 읽은 슬라이더나 퍼즐 확인 화면에서 시작하는 스와이프 또는 드래그를 거부하고, 확인 화면을 닫거나 해당 단계를 차단됨으로 보고하라는 메시지를 에이전트에 보낸다. 앱이 10분 동안 3번 제지하면 에이전트는 해당 앱 사용을 중단하라는 지시를 받는다. README는 합성된 탭도 앱 자체의 봇 탐지를 피한다고 보장할 수 없다고 덧붙인다. Captcha 거부, 사용량 제한 시 후퇴, 탐지 경고.
앱에 사람처럼 보이도록 설계된 소프트웨어는 그 앱의 규칙을 우회하도록 설계된 소프트웨어다. 이를 어떻게 평가하든 위험은 사용자 계정으로 넘어간다.
phone use 에이전트 벤치마크: 누구의 수치인가
2개 프로젝트가 성공률을 공개했으며, 둘 다 자체 측정한 결과다. mobile-use는 2026년 1월 AndroidWorld의 116개 작업 중 116개를 모두 완료한 최초의 도구라고 주장한다. mobile-use 주장. Droidrun의 README 배지는 91.4%라고 표시하지만, 웹사이트에서는 AndroidWorld에서 100%, iOSWorld와 AndroidWorld 전체에서 98.34%라고 밝힌다. 모델, 날짜, 평가 실행 주체는 명시하지 않았다. Droidrun 배지.
iCTRL은 성공률 대신 속도를 공개한다. 탭 1회에 약 280밀리초, 8개 앱에서 보이는 화면을 읽는 데 중앙값 416밀리초가 걸린다. iCTRL 속도.
우리가 아는 한 이 수치들은 독립적으로 재현되지 않았으며, 2개의 "100%" 주장이 모두 새로운 소식일 수는 없다. 공급업체가 자사 제품을 대상으로 실행한 벤치마크는 출발점이지 결과가 아니다. 우리는 자체 시험에서 어떤 phone use 에이전트도 실행하지 않았다. 이 사이트에서 점수를 받은 도구도 없다.
FAQ
phone use 에이전트란 무엇인가? 실제 휴대폰에 연결된 언어 모델이다. 스크린샷이나 요소 트리로 화면을 보고 탭, 스와이프 또는 키 입력을 선택하며, 작업이 끝날 때까지 이를 반복한다. 웹 버전이나 API가 없는 앱에서도 작동한다.
탈옥 없이 AI가 iPhone을 조작할 수 있는가? 가능하다. iPhone Use, Droidrun, AutoGLM은 사용자의 개발자 서명을 적용한 Apple WebDriverAgent를 사용하고, iCTRL은 무료 Apple ID로 서명할 수 있는 자체 XCTest 러너를 제공한다. esp32-iphone-agent는 USB 키보드와 마우스로 동작한다. Oh My Phone Use, ipad_computer_use, anan-iphone-use는 화면 공유와 Bluetooth 또는 USB로 같은 역할을 하는 소형 보드를 결합한다. phone-harness는 macOS iPhone Mirroring을 조작한다. 어느 도구도 탈옥이 필요하지 않다.
결제 전에 묻는 phone use 에이전트는 무엇인가? 코드상으로는 AutoGLM뿐이며, 모델이 해당 탭에 표시를 붙였을 때만 묻는다. 영어 프롬프트는 이 동작을 가르치지 않는다. OpenGUI의 백엔드, phone-harness, Oh My Phone Use, iCTRL은 모델에 보내는 지시를 통해 확인을 요청한다. 나머지 도구에서는 결제 확인 절차를 찾지 못했다.
주로 사용하는 휴대폰에서 phone use 에이전트를 써도 안전한가? 권하지 않는다. 휴대폰 잠금이 풀려 있으면 에이전트가 대체로 모든 앱을 열고 어디든 탭할 수 있으며, 화면은 모델 공급업체로 전송된다. 계정 정지 위험을 설명한 프로젝트도 없다. 여분의 휴대폰과 잃어도 감당할 수 있는 계정을 사용해야 한다.
phone use 에이전트가 내 데이터를 외부로 보내는가? 화면은 사용자가 설정한 모델로 전송된다. 이와 별도로 phone-harness와 Droidrun은 작업 텍스트를 포함할 수 있는 사용 이벤트를 기본적으로 전송한다. iPhone Use는 도구 이름과 소요 시간만 보내며, mobile-use는 먼저 동의를 구한다.
가장 좋은 오픈소스 phone use 에이전트는 무엇인가? 우리는 순위를 매기지 않으며, 이 도구들을 실행하지도 않았다. 위 표는 각 도구의 절충점을 보여준다. AutoGLM은 코드에 확인 단계가 있는 유일한 도구이고, iPhone Use는 기본 텔레메트리를 도구 이름과 소요 시간으로 제한한다. Droidrun은 가장 많은 플랫폼을 지원하지만 stealth 기능을 제공하고 목표 텍스트를 기본적으로 전송한다. iCTRL은 앱의 봇 방지 확인과 맞서지 않는 도구다. 이는 2026년 10월 13일과 19일에 고정한 커밋을 기준으로 한 소스 검토이며, iPhone Use는 별도 페이지에서 다룬다.