Búsqueda en el historial de conversaciones

Una de las actualizaciones más esperadas es la nueva función de búsqueda en ChatGPT, que permite a los usuarios explorar sus conversaciones anteriores de manera eficiente. Inicialmente disponible para los suscriptores de los planes Plus y Team, esta herramienta facilita la localización de temas específicos y la reanudación de sesiones previas.

Cómo funciona la búsqueda

La búsqueda en ChatGPT se presenta como una herramienta sencilla pero efectiva. Los usuarios pueden introducir palabras clave para encontrar información específica en sus conversaciones anteriores. A diferencia de SearchGPT, que funcionaba como un motor de búsqueda web en tiempo real, esta nueva funcionalidad se limita a los chats ya realizados, proporcionando resultados basados en las palabras clave introducidas.

Disponibilidad de la función

Por el momento, la función de búsqueda está habilitada para los suscriptores de los planes Plus y Team, quienes ya pueden ver el ícono de búsqueda en sus pantallas. Los usuarios del plan Enterprise y educativo podrán acceder a esta opción la próxima semana. Los usuarios del plan gratuito, en cambio, deberán esperar hasta noviembre para comenzar a utilizarla.

Mejoras solicitadas por la comunidad

OpenAI ha recibido numerosas sugerencias para mejorar esta herramienta, tales como la posibilidad de organizar conversaciones en carpetas o fijar chats importantes. Aunque aún no se han implementado estas características, la respuesta general ha sido positiva, y la comunidad sigue esperando más opciones que faciliten la gestión de sus conversaciones.

Dificultades y prioridades de desarrollo

Muchos usuarios se han preguntado por qué OpenAI ha tardado tanto en lanzar una función que, en teoría, parece poco compleja. La respuesta radica en las prioridades de desarrollo de OpenAI, que ha estado enfocada en lanzar actualizaciones en diversas áreas como el manejo de texto, mejoras de la interfaz y aprendizaje automático. Aunque la búsqueda en el historial no es la función más revolucionaria, su llegada representa un avance tangible en la experiencia del usuario y podría abrir la puerta a futuras innovaciones.

Organización y eficiencia

La capacidad de buscar en el historial es una herramienta valiosa para cualquier persona que emplee ChatGPT de forma habitual. Si estás escribiendo un proyecto, investigando o simplemente revisando respuestas, ahora podrás acceder a esas conversaciones previas con mayor agilidad.

La futura experiencia en ChatGPT

Con el lanzamiento de la nueva función de búsqueda, ChatGPT mejora su funcionalidad, aunque aún hay expectativas de los usuarios por características adicionales. Muchos han solicitado funcionalidades como carpetas personalizadas para organizar chats por tema o proyecto específico y la opción de destacar ciertas conversaciones para tenerlas accesibles, lo cual sería especialmente útil para quienes utilizan ChatGPT en contextos profesionales o académicos.

SimpleQA: Un nuevo estándar en la verificación de hechos

En el ámbito de la inteligencia artificial, un desafío constante es entrenar modelos que proporcionen respuestas con exactitud. Los modelos de lenguaje actuales a menudo generan respuestas incorrectas o desprovistas de evidencia, un fenómeno conocido como “alucinaciones“. Para abordar este problema, se ha desarrollado un nuevo estándar llamado SimpleQA, que mide la capacidad de los modelos para responder preguntas cortas y enfocadas en los hechos.

Acerca de SimpleQA

La evaluación de la factualidad es un tema complejo debido a las dificultades que implica medirla. La creación de respuestas precisas a afirmaciones arbitrarias es un reto, y los modelos de lenguaje pueden generar respuestas extensas que incluyan múltiples afirmaciones. SimpleQA se centra en preguntas cortas y que buscan hechos, lo que limita el alcance del estándar, pero hace que medir la factualidad sea mucho más manejable.

Objetivos del Dataset

El objetivo de SimpleQA es crear un conjunto de datos que cumpla con las siguientes características:

• Alta corrección: Las respuestas de referencia están respaldadas por fuentes de dos entrenadores de IA independientes, y las preguntas fueron formuladas para facilitar su calificación.
• Diversidad: SimpleQA abarca una variedad amplia de temas, que van desde ciencia y tecnología hasta programas de televisión y videojuegos.
• Desafiante para modelos de vanguardia: Comparado con estándares anteriores como TriviaQA o NQ, que se han vuelto obsoletos, SimpleQA se ha creado para ser un mayor desafío para los modelos actuales.
• Buena experiencia para investigadores: SimpleQA está diseñado para ser rápido y sencillo de implementar. Además, tiene 4,326 preguntas, lo que le da una variación relativamente baja como herramienta de evaluación.

Creación de preguntas

Para construir el dataset, se contrató a entrenadores de IA que navegaron por la web para generar preguntas cortas que buscaran hechos y sus respectivas respuestas. Cada pregunta debía cumplir estrictos criterios: una respuesta única y contundente que facilitara la calificación, que la respuesta no cambiara con el tiempo y que, en la mayoría de los casos, generara alucinaciones en modelos como GPT-4o o GPT-3.5. Un segundo entrenador de IA proporcionó respuestas sin ver la respuesta original, y solo se incluyeron preguntas donde ambos entrenadores coincidieron.

Verificación de calidad

Como parte de la verificación final de la calidad, se solicitó a un tercer entrenador de IA que respondiera una muestra aleatoria de 1,000 preguntas del conjunto de datos. Se descubrió que su respuesta coincidía con las respuestas acordadas en un 94.4% de los casos, lo que indica un margen de error inherente del 3%.

Diversidad de preguntas en SimpleQA

La diversidad de tópicos en el estándar SimpleQA abarca áreas como:

• Música: 341 preguntas
• Deportes: 368 preguntas
• Geografía: 424 preguntas
• Arte: 550 preguntas
• Política: 709 preguntas
• Ciencia y tecnología: 858 preguntas
• Videojuegos: 135 preguntas
• Historia: 173 preguntas
• Programas de televisión: 293 preguntas

Evaluación de modelos de lenguaje

Para calificar las preguntas, se utiliza un clasificador de ChatGPT que analiza tanto la respuesta predicha por el modelo como la respuesta correcta, valorando la respuesta como “correcta”, “incorrecta” o “no intentada”. Este enfoque permite comparar el rendimiento de varios modelos de OpenAI, incluidas versiones como gpt-4o-mini y o1-mini.

Calibración de modelos de lenguaje

El estándar SimpleQA permite también medir la calibración de los modelos de lenguaje, evaluando si “saben lo que saben”. Esto se lleva a cabo pidiendo al modelo que indique su confianza en la respuesta, así como preguntando la misma cuestión múltiples veces.

Conclusiones

SimpleQA es una herramienta sencilla pero desafiante para evaluar la factualidad de los modelos de IA más avanzados. A pesar de su precisión, su limitación radica en que mide la factualidad únicamente en el contexto de preguntas cortas con respuestas únicas verificables. Se espera que la apertura de SimpleQA impulse la investigación sobre IA más confiable y se invita a los investigadores a utilizarlo y brindar retroalimentación.