一块几十块的 ESP32 小板子插在一台真 iPhone 上,AI 就长出了眼睛和手:自己看屏幕、自己点。仓库建了才 9 天,GitHub 上已经 3,000 多颗星。别人那套得在旁边摆台电脑,这套跑起来就手机加板子——不用越狱,也不用开发者账号。

原理是把手机自动化拆成眼睛和手。板子一边当 AirPlay 接收端,把手机屏幕接过来;一边装成一个 USB 鼠标键盘。手机上把辅助触控打开,屏幕上就有了指针——鼠标点一下就是手指,点一下拖一下就是划一下。

第一次要四步配完:蓝牙、板子的热点、屏幕镜像、填一个能看图的模型接口。配完直接提要求,比如设一个早上 8 点、每周一周二重复的闹钟然后保存:它会先退出自己那个 app,打开时钟,在滚轮上把时间拨过去,勾上那两天点保存,全程不用你伸一根手指。

更狠的是每一步都留着:跑完能一步步回放点在哪儿、划到哪儿,全画在截图上,还能整份导出来丢给另一个 agent 复盘。模型基本不挑,任何 OpenAI 兼容、能看图的接口都行,自己在 vLLM、Ollama 上跑一个也可以。

一直想搞手机自动化的兄弟,先拿「打开设置进 Wi-Fi」这种最简单的活试一遍,跑顺了再往上加。