产品定位
esp32-iphone-agent 是 GitHub 开源项目 onehumanbeing/esp32-iphone-agent，采用 MIT 协议，作者为 Henry Yuan。它定位为低成本的 iPhone 自动化代理与实验平台，用约 7 美元的 Seeed Studio XIAO ESP32S3（8MB PSRAM）作为硬件核心，把手机自动化拆成眼睛、手和大脑三部分，让开发者能以较低成本验证视觉模型驱动的手机操作流程。

核心功能
ESP32-S3 自身作为 AirPlay 接收端，通过 BLE 把 480×1040、约 5fps 的 H.264 画面传给同机 agent app；同时通过 TinyUSB 枚举成标准 USB HID 鼠标与键盘，配合 iOS 辅助触控，使点击等同于手指点按、拖拽等同于滑动。大脑可使用任意 OpenAI 兼容的视觉模型，也可在本地通过 vLLM、Ollama 运行，并以 planner 加 actor 循环执行 move、click、type、swipe、draw、keys、home、finish 等动作。

技术特点
HID 指针采用相对坐标，精确点击前会抖动光标并用镜像画面定位校正；每次操作后校验屏幕是否变化，连续失败会重新规划。项目要求 iOS 18+ 与 USB-C 直连，Lightning 设备需相机转接器，由手机给板子供电。限制包括仅竖屏、只能输入 ASCII、锁屏后镜像停止、密码与 Apple Pay/DRM 画面无法镜像、每个动作耗时数秒，首次烧录与构建 app 仍需一台 Mac 加 Xcode。

适用场景
适合开发者做 iOS 自动化原型验证、视觉模型 agent 研究、本地模型与端侧推理实验、重复操作流程演示以及无障碍辅助探索；也可用于教学展示如何把 AirPlay 画面、BLE 通信和 USB HID 控制组合成闭环系统。涉及密码、支付、DRM 或锁屏的场景不适合使用，实际部署前应确保设备与账号获得授权，并遵守平台规则与法律边界。