El 23 de octubre de 2024, se presentó la actualización de Claude 3.5 Sonnet y el lanzamiento de un nuevo modelo denominado Claude 3.5 Haiku.Esta versión mejorada del modelo Sonnet ofrece notables avances en comparación con su antecesor, destacándose especialmente en el ámbito de la programación. Este es un sector donde ya era líder. Por su parte, el Claude 3.5 Haiku iguala el rendimiento del modelo anterior más grande, Claude 3 Opus, en múltiples evaluaciones a un costo y velocidad comparables.

Nueva funcionalidad: Uso de computadoras

Un anuncio destacado es la introducción de una nueva capacidad innovadora en beta pública: el uso de computadoras. Esta funcionalidad está disponible desde el 23 de octubre de 2024 en la API, permitiendo a los desarrolladores indicarle a Claude que maneje computadoras como lo haría una persona: observando la pantalla, moviendo el cursor, haciendo clic en botones y escribiendo texto. De esta manera, Claude 3.5 Sonnet se convierte en el primer modelo de inteligencia artificial en ofrecer esta capacidad en fase beta pública. Aunque esta funcionalidad es experimental y puede presentar limitaciones y errores, se tiene la expectativa de que mejore rápidamente con la retroalimentación de los desarrolladores.

Herramienta de análisis potenciada por Claude

Además, el nuevo Analysis Tool, combina análisis de texto y captura de contexto. Este recurso está diseñado para mejorar la comprensión y el uso de datos. Permite a los usuarios formular preguntas complejas y recibir respuestas precisas, facilitando la interpretación de grandes volúmenes de información. Este tipo de herramienta se viene destacando en campos como la investigación, la atención al cliente y el análisis de datos, brindando a las empresas la capacidad de obtener información valiosa de manera eficiente.

Aplicaciones prácticas por empresas líderes

Diversas empresas líderes, como Asana, Canva, Cognition, DoorDash, Replit, y The Browser Company, ya han comenzado a explorar estas capacidades, llevando a cabo tareas que requieren la ejecución de decenas e incluso cientos de pasos. Por ejemplo, Replit está utilizando las capacidades de Claude 3.5 Sonnet para el uso de computadoras y la navegación en interfaces de usuario (UI) para desarrollar una función clave que evalúa aplicaciones mientras están en proceso de construcción para su producto Replit Agent.

Análisis de resultados notables

Los resultados de las mejoras en Claude 3.5 Sonnet son significativos. Las pruebas realizadas muestran avances en la ingeniería de software, superando los estándares de la industria con una mejora en el desempeño de programación. En la prueba SWE-bench Verified, la tasa de éxito ha aumentado del 33.4% al 49.0%, colocando a Claude por encima de todos los modelos disponibles públicamente, incluyendo modelos de razonamiento como OpenAI o1-preview y sistemas especializados en tareas de programación. La mejora en la prueba TAU-bench, que evalúa el uso de herramientas, ha alcanzado un incremento del 62.6% al 69.2% en el sector minorista y del 36.0% al 46.0% en el dominio aéreo, logrando todo esto al mismo costo y velocidad que su modelo anterior.

Disponibilidad y acceso

A partir del 23 de octubre de 2024, Claude 3.5 Sonnet estará disponible para todos los usuarios. Los desarrolladores podrán empezar a construir utilizando la beta de uso de computadoras en la API de Anthropic, así como en Amazon Bedrock y Google Cloud’s Vertex AI. El nuevo modelo Claude 3.5 Haiku también estará disponible más adelante este mes.

Retroalimentación de usuarios tempranos

Los primeros comentarios de los clientes indican que la actualización del Claude 3.5 Sonnet representa un avance significativo en la codificación impulsada por inteligencia artificial. GitLab, que probó el modelo para tareas de DevSecOps, observó que ofrece un razonamiento más sólido (hasta un 10% en distintos casos de uso) sin incrementar la latencia, convirtiéndolo en una opción ideal para gestionar procesos complejos de desarrollo de software. Por su parte, Cognition utiliza el nuevo Claude 3.5 Sonnet para implementar inteligencia autónoma en sus operaciones.