OpenAI utiliza red teaming automatizado y aprendizaje por refuerzo para descubrir y corregir vulnerabilidades en ChatGPT Atlas antes de que sean explotadas. Este enfoque proactivo protege a los usuarios de ataques que podrían comprometer la seguridad de sus datos y tareas automatizadas.

El modo agente en ChatGPT Atlas permite que el asistente virtual interactúe con páginas web, realice clics y ejecute acciones en el navegador, como si fuera el propio usuario. Esto facilita la automatización de tareas cotidianas, pero también lo convierte en un objetivo atractivo para atacantes que buscan explotar vulnerabilidades mediante la inyección de prompts.

¿Qué es la inyección de prompts?

La inyección de prompts es un tipo de ataque en el que un atacante inserta instrucciones maliciosas en el contenido que procesa un agente de IA. Estas instrucciones están diseñadas para manipular el comportamiento del agente, haciéndolo seguir órdenes no autorizadas en lugar de las intenciones del usuario.

Por ejemplo, un atacante podría enviar un correo electrónico con instrucciones ocultas para que el agente envíe información confidencial a una dirección externa. Si el agente no está protegido, podría ejecutar estas acciones sin que el usuario lo note.

El papel del red teaming automatizado

Para anticiparse a estos ataques, OpenAI utiliza un sistema de red teaming automatizado basado en aprendizaje por refuerzo. Este sistema simula ataques para identificar vulnerabilidades en los agentes de ChatGPT Atlas, permitiendo corregirlas antes de que sean explotadas en el mundo real.

El atacante automatizado es capaz de descubrir estrategias de ataque sofisticadas, que involucran múltiples pasos y acciones coordinadas. Esto ayuda a OpenAI a mejorar las defensas de sus modelos y a entrenarlos para ignorar instrucciones maliciosas.

Ejemplo de un ataque de inyección de prompts

A continuación, te mostramos cómo un atacante podría engañar a un agente para que realice acciones no deseadas:

1. El usuario pide al agente que gestione sus correos electrónicos.

2. El agente abre el correo no leído más reciente, que contiene instrucciones maliciosas.

3. El agente detecta las instrucciones maliciosas ocultas en el correo.

4. El agente envía un correo de renuncia no autorizado, siguiendo las instrucciones maliciosas.

5. Tras la actualización de seguridad, el agente detecta y bloquea el intento de inyección de prompts.

Recomendaciones para usar agentes de manera segura

OpenAI recomienda seguir estas prácticas para reducir riesgos al utilizar agentes de IA:

• Usar el modo sin sesión: Limita el acceso a sitios donde hayas iniciado sesión si no es necesario para la tarea.
• Revisar confirmaciones: Verifica siempre las acciones que el agente solicita confirmar, como enviar correos o realizar pagos.
• Instrucciones claras: Evita dar órdenes vagas como “haz lo que sea necesario”. Es mejor especificar tareas concretas.

El futuro de la seguridad en agentes de IA

OpenAI sigue investigando y mejorando sus sistemas para mantenerse un paso adelante de los atacantes. La combinación de red teaming automatizado, entrenamiento adversarial y salvaguardas a nivel de sistema permite identificar y corregir vulnerabilidades de manera más rápida y efectiva.