Un proyecto open source permite que un modelo de visión opere un iPhone real sin Mac, sin Xcode y sin cuenta de desarrollador: una placa XIAO ESP32-S3 de unos 7 dólares que el teléfono reconoce como mouse y teclado, con la pantalla llegando por AirPlay y la IA decidiendo cada toque.

Automatizar un iPhone siempre fue un terreno vedado para la mayoría. Durante años, la única ruta seria pasaba por WebDriverAgent o XCUITest: una Mac encendida, Xcode instalado, firma de código y una cuenta de desarrollador de Apple cuya firma gratuita, además, caduca cada siete días. Era territorio de equipos de QA con presupuesto, no de cualquier usuario con una idea en la cabeza.

El repositorio onehumanbeing/esp32-iphone-agent lo resuelve con una elegancia casi insultante: en lugar de pelear con las herramientas internas de Apple, usa las mismas puertas que usaría una persona. Es hardware open source (licencia MIT) con tres piezas que el propio iPhone trae de fábrica.

¿Cómo funciona la arquitectura ojos-manos-cerebro?

El diseño se explica solo con la metáfora del propio proyecto. Tres roles, tres mecanismos que Apple ya incluye en cada iPhone:

• Ojos: la pantalla del iPhone llega a la placa por AirPlay (duplicación de pantalla), y el flujo de video se convierte en frames que el agente puede analizar.
• Manos: la placa XIAO ESP32-S3 se conecta por USB como un mouse y teclado estándar (USB HID). Con AssistiveTouch activado — la función de accesibilidad de iOS — el mouse mueve un puntero en pantalla: un clic se convierte en un toque y un arrastre en un deslizamiento.
• Cerebro: cualquier modelo de visión compatible con la API de OpenAI decide qué tocar: puede ser un API en la nube o un modelo que tú mismo ejecutes.

La consecuencia práctica es contundente: no hay nada que instalar en el teléfono, no hay jailbreak y no hay app de prueba firmada. El agente ve píxeles, como una persona, y toca la pantalla, como una persona. Por eso funciona en cualquier aplicación — incluidos los juegos, donde las herramientas basadas en el árbol de accesibilidad se quedan fuera.

¿Qué ventaja real tiene sobre XCTest y WebDriverAgent?

La comparación del propio proyecto lo resume bien, y vale la pena señalar cuánto cambia la ecuación de costos:

Siete dólares contra una Mac con Xcode y una cuenta de desarrollador. No es una mejora incremental: es una democratización completa del acceso a la automatización en iOS.

¿Qué se necesita para usarlo?

Los requisitos son deliberadamente accesibles: un iPhone con iOS 18 o superior (los modelos con USB-C se conectan directo; los Lightning requieren un adaptador de cámara USB), AssistiveTouch activado y la placa Seeed Studio XIAO ESP32-S3 de unos 7 dólares. El repositorio incluye el firmware del microcontrolador, un servidor del agente en Python, una interfaz web y scripts de configuración.

Un detalle que sugiere que el autor pensó en los sustos: el proyecto está pensado para automatización autorizada de tus propios dispositivos y cuentas, con la posibilidad de monitorear y detener al agente en cualquier momento si la IA se equivoca. Como toda herramienta de este tipo, el proyecto también advierte sus límites actuales: operación solo en orientación vertical y teclado limitado a ASCII.

La lectura de fondo: los agentes entrarán por la puerta de accesibilidad

Más allá del gadget, hay una tesis aquí que conviene tomar en serio. Los agentes que usan el teléfono no van a esperar el permiso de Apple. La ruta oficial — XCTest, frameworks de automatización, apps de productividad con APIs — exige peaje: firmas, cuentas, revisiones. La ruta alternativa siempre existió, pero estaba hecha para personas: AirPlay para ver la pantalla, AssistiveTouch para tocarla sin manos.

Es una paradoja con sabor a profecía: las funciones de accesibilidad fueron diseñadas para dar acceso a quienes no podían usar la interfaz estándar. Ahora sirven igual de bien para dar acceso a máquinas. Y lo cierto es que la historia se repite en todas las plataformas: en escritorio ya vimos cómo los agentes toman el control del navegador con sesiones autenticadas, y en móvil los asistentes personales con acceso a apps, como el que describimos en nuestra reseña de OpenMuse, el agente personal de código abierto, van camino de ser la norma. Incluso con Apple integrando automatización nativa en sus sistemas, como vimos en la guía completa de iOS 27, el ecosistema abierto avanza por fuera del App Store.

¿Le darías el control de tu iPhone a una IA?

Aquí el proyecto deja de ser técnico y se vuelve incómodo. La pregunta final la formula el propio debate: ¿le darías a una IA control total de tu iPhone, con tus bancos y tus chats adentro? ¿O es un riesgo que no vale la pena?

Los argumentos de cada lado son honestos. A favor: el agente solo ve la pantalla y toca la pantalla, con un botón de detener disponible; no hay APIs de sistema comprometidas ni root. En contra: ese “solo ve y toca” es exactamente todo lo que un atacante necesitaría — y si la IA se equivoca en una pantalla de transferencia bancaria, la ventana de detección es de segundos.

Quizá la respuesta honesta sea intermedia: no hoy, no con todo, pero sí con tareas acotadas y supervisadas — configurar una app, ordenar fotos, probar un flujo de onboarding de tu propio producto. Como primer experimento de 7 dólares para entender cómo operarán los agentes sobre nuestros teléfonos, difícilmente haya uno mejor documentado.