ByteDance publica UI-TARS y Agent TARS, proyectos de código abierto para automatizar interfaces mediante visión artificial con procesamiento local.

UI-TARS y Agent TARS son herramientas de código abierto desarrolladas por ByteDance que permiten a modelos de inteligencia artificial controlar computadoras, navegadores y aplicaciones mediante visión artificial. Con más de 26,500 estrellas en GitHub y una comunidad activa de 45 contribuidores, estos proyectos representan un desarrollo notable en la creación de agentes capaces de interpretar pantallas y ejecutar acciones de manera autónoma y local.

¿Qué es UI-TARS?

UI-TARS es un agente de interfaz gráfica nativo que combina modelos de visión y lenguaje para procesar capturas de pantalla y ejecutar interacciones directas en sistemas operativos. A diferencia de otras soluciones que dependen de llamadas a funciones externas, UI-TARS genera acciones como movimientos del ratón y entradas de teclado sin intermediarios, lo que permite una integración más directa con el entorno del usuario.

Su arquitectura se basa en tres componentes técnicos:

• Percepción mejorada: Utiliza conjuntos de datos de capturas de pantalla para interpretar elementos de interfaz con precisión contextual, lo que permite una comprensión robusta del entorno visual
• Modelado de acción unificado: Estandariza acciones en un espacio multiplataforma mediante trazas de acción a gran escala, facilitando la compatibilidad con diferentes sistemas operativos y aplicaciones
• Razonamiento deliberado: Incorpora procesamiento reflexivo para la toma de decisiones en múltiples pasos, incluyendo la descomposición de tareas complejas y el reconocimiento de hitos intermedios

Video demostrativo oficial de UI-TARS-1.5:

Modelos disponibles y sus capacidades

UI-TARS ofrece tres configuraciones adaptadas a diferentes capacidades de hardware:

• UI-TARS-2B: Modelo compacto diseñado para dispositivos con recursos limitados, adecuado para pruebas y tareas que no requieren alta capacidad de procesamiento
• UI-TARS-7B: Versión equilibrada que ofrece buen rendimiento sin exigir recursos computacionales excesivos, recomendada para la mayoría de usuarios
• UI-TARS-72B: Modelo de alta capacidad para tareas complejas y entornos profesionales que requieren máxima precisión y potencia de procesamiento

La versión actual, UI-TARS-1.5, introduce mejoras en percepción visual y razonamiento integrado. Puede descargarse desde el repositorio oficial de GitHub o probarse en la demostración en Hugging Face.

Agent TARS: ecosistema completo para automatización multimodal

Agent TARS es la plataforma que integra las capacidades de UI-TARS en un ecosistema completo, ofreciendo interfaces de línea de comandos y web para un uso práctico e inmediato. Este sistema permite controlar computadoras, navegadores y aplicaciones tanto de manera local como remota, utilizando comandos en lenguaje natural para simplificar la interacción con tecnologías complejas.

El código fuente completo está disponible en el repositorio UI-TARS-desktop, que proporciona documentación detallada sobre su arquitectura y funcionalidades.

¿Cómo instalar Agent TARS?

Para instalar Agent TARS, es necesario contar con Node.js versión 22 o superior. La instalación puede realizarse mediante los siguientes métodos:

• Ejecución sin instalación: npx @agent-tars/cli@latest
• Instalación global: npm install @agent-tars/cli@latest -g
• Uso con proveedores específicos: agent-tars –provider anthropic –model claude-3-7-sonnet-latest –apiKey tu-clave-api

Antes de ejecutar Agent TARS, es esencial configurar los permisos del sistema operativo según la plataforma:

• MacOS: Habilitar permisos de accesibilidad y grabación de pantalla en las preferencias del sistema
• Windows: Ejecutar la aplicación con privilegios de administrador en el primer arranque para permitir el acceso a controles del sistema
• Linux: Instalar dependencias necesarias como libgtk-3-0 y xvfb para garantizar la compatibilidad según la distribución utilizada

Novedades y características principales

La versión más reciente, Agent TARS CLI v0.3.0, lanzada el 5 de noviembre de 2025, incluye las siguientes mejoras según el repositorio oficial:

• Soporte de transmisión en tiempo real para múltiples herramientas, permitiendo una interacción más fluida
• Configuraciones de tiempo de ejecución con estadísticas de temporización para optimizar el rendimiento
• Visualizador de flujo de eventos que facilita el seguimiento y depuración de datos durante la ejecución de tareas
• Soporte exclusivo para el entorno de pruebas AIO Agent Sandbox, que ofrece un espacio aislado y seguro para ejecutar herramientas complejas

UI-TARS Desktop v0.2.0, por su parte, introduce:

• Operador remoto para computadoras y navegadores, permitiendo el control desde cualquier ubicación sin necesidad de configuraciones adicionales
• Compatibilidad mejorada con entornos multiplataforma, incluyendo Windows, MacOS y Linux

Capacidades de automatización: operadores locales y remotos

UI-TARS Desktop ofrece dos modos de operación principales documentados en el repositorio oficial:

Video demostrativo de operador local controlando VS Code:

• Operador local: Permite el control nativo de aplicaciones de escritorio, como la configuración automática de características en herramientas como VS Code. Por ejemplo, es posible habilitar el guardado automático con retrasos personalizados mediante instrucciones en lenguaje natural
• Operador remoto: Facilita el control de computadoras y navegadores desde cualquier ubicación, útil para equipos distribuidos y soporte técnico remoto. Esta funcionalidad resulta especialmente práctica en entornos corporativos donde se requiere asistencia inmediata

Comparativa con otros modelos de inteligencia artificial

UI-TARS-1.5 ha sido evaluado en diversos conjuntos de datos estandarizados según la documentación oficial de ByteDance Seed, demostrando el siguiente rendimiento:

Evaluaciones en uso de computadora:

• OSWorld: 42.5 puntos en comparación con 36.4 puntos de OpenAI CUA y 28 puntos de Claude 3.7
• Windows Agent Arena: 42.1 puntos según documentación oficial
• AndroidWorld: 64.2 puntos, superando al modelo líder anterior que alcanzó 59.5 puntos

Evaluaciones en uso de navegador:

• WebVoyager: 84.8 puntos, comparado con 87 puntos de OpenAI CUA y 84.1 de Claude 3.7
• Online-Mind2web: 75.8 puntos, superando a OpenAI CUA con 71 puntos y Claude 3.7 con 62.9 puntos

Evaluaciones en ubicación de elementos de interfaz:

• ScreenSpot-V2: 94.2 puntos comparado con 87.9 de OpenAI CUA y 87.6 de Claude 3.7
• ScreenSpotPro: 61.6 puntos, notablemente superior a 23.4 de OpenAI CUA y 27.7 de Claude 3.7

Estos resultados, documentados en la página oficial de ByteDance Seed, reflejan la capacidad de UI-TARS para comprender y manipular interfaces gráficas complejas.

Casos de uso prácticos documentados

A continuación, se presentan ejemplos concretos documentados en el repositorio oficial de cómo UI-TARS y Agent TARS pueden aplicarse en diferentes escenarios:

Video demostrativo de reserva de hotel con Agent TARS:

Automatización de configuración en editores de código

Instrucción: “Ayúdame a abrir la función de guardado automático de VS Code y retrasa las operaciones de guardado automático por 500 milisegundos en la configuración de VS Code”

Resultado: El agente abre VS Code, navega a la configuración, localiza la opción de guardado automático y ajusta el valor del retraso según lo especificado.

Verificación de repositorios en GitHub

Instrucción: “¿Podrías ayudarme a verificar el problema abierto más reciente del proyecto UI-TARS-Desktop en GitHub?”

Resultado: El agente abre el navegador, navega al repositorio especificado, accede a la sección de problemas y presenta información sobre el más reciente.

Investigación y análisis de datos en la web

Instrucción: “Busca los 5 marcos de trabajo JavaScript más populares en 2026 y genera una tabla comparativa con sus características principales”

Resultado: El agente realiza búsquedas en múltiples fuentes, extrae la información relevante y genera una tabla estructurada con los datos solicitados.

Reservas de viajes automatizadas

Instrucción: “Ayúdame a reservar el vuelo más temprano de San José a Nueva York el 1 de septiembre y el último vuelo de regreso el 6 de septiembre en Priceline”

Resultado: El agente navega por la interfaz del sitio web, introduce los parámetros de búsqueda y presenta las opciones disponibles según los criterios especificados.

Consejos para optimizar el rendimiento

Para aprovechar al máximo UI-TARS y Agent TARS, considera las siguientes recomendaciones basadas en la documentación oficial:

Elección del modelo según el hardware disponible

• UI-TARS-2B: Adecuado para dispositivos con recursos limitados, útil para tareas simples y pruebas iniciales
• UI-TARS-7B: Recomendado para estaciones de trabajo con recursos moderados, ofrece un equilibrio entre rendimiento y eficiencia
• UI-TARS-72B: Diseñado para servidores o computadoras con capacidades gráficas avanzadas, ideal para tareas complejas que requieren alta precisión

Rendimiento en evaluaciones de juegos

ByteDance evaluó UI-TARS-1.5 en 14 juegos diferentes de Poki.com para medir capacidades de razonamiento estratégico y toma de decisiones. UI-TARS-1.5 alcanzó puntuación perfecta de 100 en 13 de 14 juegos evaluados, demostrando capacidad para mantener rendimiento consistente en tareas de horizonte largo que requieren planificación estratégica.

Limitaciones y consideraciones de privacidad

A pesar de sus capacidades, UI-TARS presenta algunas limitaciones que deben considerarse según la documentación oficial:

• Riesgo de uso indebido: Debido a su capacidad para interactuar con interfaces gráficas, incluyendo la navegación de desafíos de autenticación como CAPTCHA, existe el potencial de que sea utilizado para acceder a contenido protegido o automatizar acciones no autorizadas. Se recomienda su uso en entornos controlados y con supervisión adecuada
• Requisitos computacionales: Los modelos más avanzados, como UI-TARS-72B, requieren recursos significativos, lo que puede limitar su implementación en dispositivos con hardware modesto
• Precisión y alucinaciones: En entornos ambiguos o desconocidos, el modelo puede generar descripciones inexactas o tomar acciones subóptimas basadas en inferencias incorrectas. Es recomendable validar los resultados en tareas críticas
• Ecosistema en desarrollo: Con 296 problemas abiertos en GitHub al momento de esta publicación, algunas funcionalidades experimentan comportamientos que la comunidad está resolviendo activamente

UI-TARS Desktop prioriza el procesamiento local, lo que significa que todas las capturas de pantalla, análisis de interfaz y generación de acciones ocurren en el dispositivo del usuario sin transmitir datos a servidores externos. Esto resulta especialmente relevante para entornos corporativos y usuarios conscientes de la privacidad.

¿Cómo desinstalar UI-TARS y Agent TARS?

Si necesitas desinstalar completamente UI-TARS o Agent TARS de tu sistema, sigue estos procedimientos según tu sistema operativo:

Desinstalación en Windows

UI-TARS se instala típicamente en la carpeta C:\Users\NombreUsuario\AppData\Local\UI-TARS. Para desinstalarlo completamente:

• Método 1 – Desinstalador nativo: Ejecuta el archivo C:\Users\NombreUsuario\AppData\Local\UI-TARS\Update.exe para iniciar el proceso de desinstalación
• Método 2 – Panel de control: Abre Panel de control → Programas y características → Busca UI-TARS → Clic derecho → Desinstalar
• Método 3 – Limpieza manual: Elimina la carpeta completa C:\Users\NombreUsuario\AppData\Local\UI-TARS y verifica que no queden entradas en el registro de Windows relacionadas con UI-TARS

Desinstalación de Agent TARS CLI

Para desinstalar Agent TARS CLI instalado globalmente con npm:

• Desinstalación global: npm uninstall @agent-tars/cli -g
• Verificar desinstalación: npm list -g –depth=0 para confirmar que el paquete fue eliminado
• Limpiar caché de npm: npm cache clean –force para eliminar archivos residuales

Desinstalación en MacOS

Para eliminar UI-TARS Desktop en MacOS:

• Abre la carpeta Aplicaciones y arrastra UI-TARS a la papelera
• Elimina archivos de configuración residuales en ~/Library/Application Support/UI-TARS
• Elimina preferencias del sistema en ~/Library/Preferences buscando archivos con nombre relacionado a UI-TARS
• Vacía la papelera para completar la desinstalación

Desinstalación en Linux

Para sistemas Linux que instalaron mediante gestores de paquetes:

• Si usaste npm: npm uninstall @agent-tars/cli -g
• Eliminar archivos de configuración: rm -rf ~/.config/agent-tars
• Eliminar dependencias huérfanas: Según tu distribución, usa apt autoremove o yum autoremove para limpiar dependencias no utilizadas

Verificación de desinstalación completa

Después de desinstalar, verifica que no queden archivos residuales:

• Busca carpetas relacionadas con UI-TARS o Agent TARS en directorios de usuario
• Revisa variables de entorno del sistema que puedan referenciar las aplicaciones
• Confirma que los comandos agent-tars o ui-tars ya no son reconocidos en la terminal

Preguntas frecuentes sobre UI-TARS

¿UI-TARS funciona sin conexión a internet?

Sí, el operador local de UI-TARS Desktop procesa todas las tareas de manera local una vez que el modelo está descargado y configurado. Solo los operadores remotos y las integraciones con interfaces de programación de aplicaciones de terceros requieren conectividad a internet.

¿Cuál es la diferencia entre UI-TARS y Agent TARS?

UI-TARS es el modelo base de visión y lenguaje entrenado específicamente para el control de interfaces gráficas. Agent TARS, por otro lado, es el ecosistema completo que incluye interfaces de línea de comandos, interfaces web y herramientas de orquestación, facilitando su uso práctico en diversos escenarios.

¿Puedo usar UI-TARS con fines comerciales?

Sí. Tanto UI-TARS como Agent TARS operan bajo la licencia Apache 2.0, que permite su uso comercial, modificación y distribución, siempre que se proporcione la atribución adecuada. Los detalles de la licencia están disponibles en el repositorio oficial.

¿Qué versión de UI-TARS debo utilizar?

Para la mayoría de los usuarios, UI-TARS-7B ofrece el mejor equilibrio entre rendimiento y requisitos de hardware. El modelo UI-TARS-72B está diseñado para usuarios con recursos computacionales avanzados que necesitan máxima precisión en tareas complejas.

¿Dónde puedo descargar UI-TARS?

Puedes descargar los modelos desde el repositorio oficial de GitHub o acceder a los pesos del modelo en Hugging Face. La aplicación de escritorio está disponible en el repositorio UI-TARS Desktop.

Seguridad y uso ético

El uso de herramientas como UI-TARS conlleva responsabilidad. A continuación, se presentan pautas para garantizar un uso seguro y ético:

Buenas prácticas recomendadas

• Nunca utilices UI-TARS para acceder a sistemas o datos sin autorización explícita del propietario
• Evita automatizar acciones que violen los términos de servicio de plataformas o aplicaciones
• Notifica siempre a los usuarios finales cuando un agente interactúe con sus dispositivos o datos, asegurando transparencia en el proceso
• Utiliza el procesamiento local siempre que sea posible para proteger información sensible

Configuraciones de privacidad

Para proteger datos sensibles al utilizar UI-TARS:

• Desactiva la captura de pantalla en ventanas que contengan información confidencial o personal
• Revisa y ajusta los permisos otorgados a la aplicación en el sistema operativo, limitando el acceso a solo lo necesario
• Utiliza el operador local en lugar del operador remoto cuando trabajes con datos sensibles

Recursos oficiales y documentación

Para profundizar en el uso de UI-TARS y Agent TARS, consulta los siguientes recursos oficiales verificados:

Documentación técnica oficial

• Sitio web oficial: seed.bytedance.com/ui-tars
• Repositorio UI-TARS: github.com/bytedance/UI-TARS
• Repositorio UI-TARS Desktop: github.com/bytedance/UI-TARS-desktop
• Modelos en Hugging Face: huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B
• Documento técnico: arxiv.org/abs/2501.12326
• Foro de discusión: GitHub Discussions oficial
• Discord oficial: discord.gg/pTXwYVjfcs

Cómo contribuir al proyecto

Si eres desarrollador, puedes colaborar con el proyecto de las siguientes maneras:

• Reporta errores o problemas en el repositorio de GitHub
• Envía solicitudes de incorporación de cambios con mejoras, nuevas funcionalidades o correcciones de código
• Participa en las discusiones técnicas de la comunidad en GitHub Discussions
• Traduce la documentación a otros idiomas para llegar a una audiencia más amplia

Licencia y citación académica

UI-TARS y Agent TARS operan bajo licencia Apache 2.0, que permite uso comercial con atribución adecuada. Para investigaciones académicas o publicaciones, cita el documento técnico oficial disponible en arXiv.