esp32-iphone-agent 日增約 1,116 星，AI 操作 iPhone

背景

onehumanbeing/esp32-iphone-agent 是 GitHub（程式碼代管平台）上的開源專案，授權 MIT，建立於 2026 年 10 月 11 日。專案說明表示，它用 7 美元的 ESP32（低成本微控制器開發板）讓 AI 模型操作實體 iPhone：以 AirPlay（蘋果的螢幕鏡像功能）取得畫面，以 USB HID（USB 滑鼠、鍵盤的標準規格）下操作。 GitHub 熱門專案

發生什麼事

截至本站記錄時（2026 年 10 月 17 日），該專案累計 2,905 顆星，一天內新增約 1,116 顆。專案說明指出，新版不再需要電腦：開發板當 AirPlay 接收端與滑鼠，agent（自動規劃並執行操作的程式）在同一支 iPhone 的 app 上執行；原版保留在標記 v0.1.0 與 legacy 分支。 GitHub 熱門專案

重點內容

專案說明的運作方式：開發板開自己的 Wi-Fi 熱點，在「螢幕鏡像」清單顯示為 ESP32 Agent，並把 H.264（影片壓縮格式）串流經 BLE（低功耗藍牙）轉給 app。板子同時是 USB 滑鼠與鍵盤；開啟 AssistiveTouch（iOS 輔助觸控）後，滑鼠移動螢幕指標，點擊等於輕點，拖曳等於滑動。 GitHub 熱門專案

app 把截圖送給任何 OpenAI 相容的視覺模型 API（程式呼叫的介面，需能接受圖片），由 planner（規劃者）與 actor（執行者）執行輕點、滑動、繪圖、輸入文字、按鍵、回主畫面、完成等動作。專案說明列出 vLLM、SGLang、llama.cpp、Ollama 與雲端 API。 GitHub 熱門專案

測試用的硬體是 Seeed Studio XIAO ESP32S3（標準版、8 MB PSRAM（外接記憶體），非 Sense、非 Plus）。iPhone 需 iOS 18 或更新版本並有行動數據，因為 Wi-Fi 被開發板熱點佔用。 GitHub 熱門專案

對使用者的意義

專案說明表示不需越獄（解除 iOS 系統限制），執行時也不需電腦；但需用裝有 Xcode（蘋果開發工具）的 Mac 燒錄開發板、建置 app 一次。免費 Apple ID 可簽署 app，每 7 天需重簽；一鍵加入熱點需要 Hotspot Configuration capability（熱點設定權限，需付費帳號），否則 app 顯示熱點密碼供手動加入。設定完成後輸入目標並按 Start 即可。 GitHub 熱門專案

限制與未定事項

專案說明列出的限制：BLE 約 300-500 kbps（每秒千位元），畫面以 480×1040、≤5 fps（每秒幀數）小尺寸鏡像，每步需數秒；iOS 不鏡像密碼輸入、Apple Pay、DRM（數位版權保護）影片，手機鎖定時鏡像停止。路線圖尚未完成項目含橫向 app，以及非 ASCII（英文與基本符號以外）文字輸入，例如經 iOS 拼音鍵盤輸入中文。 GitHub 熱門專案