ChatRTX es una aplicación demo desarrollada por NVIDIA que permite personalizar un modelo de lenguaje grande (LLM) GPT conectado a sus propios contenidos—documentos, notas, fotos u otros datos.

Utilizando generación aumentada por recuperación (RAG), TensorRT-LLM y aceleración RTX, puede consultar un chatbot personalizado para obtener respuestas contextualmente relevantes de manera rápida. Todo esto se ejecuta localmente en su PC o estación de trabajo con Windows RTX, garantizando resultados rápidos y seguros.

Modelos disponibles en ChatRTX

Actualmente, ChatRTX ofrece los siguientes modelos:

1. Mistral 7B int4: Este es el modelo de lenguaje grande predeterminado que proporciona capacidades robustas de procesamiento de lenguaje natural.
2. CLIP: Un modelo de visión y lenguaje que permite trabajar con imágenes para identificar y clasificar contenidos visuales.

Procedimiento de instalación de ChatRTX

Requisitos previos

1. Hardware compatible: Una tarjeta gráfica NVIDIA RTX de la serie 3000 o 4000 con al menos 8 GB de memoria GPU (las configuraciones vGPU no son compatibles actualmente).
2. Espacio en disco: Al menos 100 GB de espacio disponible.
3. Software necesario:
   • Windows 10/11
   • Últimos controladores de GPU NVIDIA

Instalación de ChatRTX

1. Descargar instalador: Visite la página de NVIDIA para ChatRTX y descargue el instalador más reciente.
2. Ejecutar instalador: Doble clic en el archivo setup.exe para iniciar el instalador. El instalador verificará la compatibilidad del sistema asegurándose de que su sistema tenga una GPU compatible.
3. Seleccionar carpeta de instalación: Puede optar por la carpeta de instalación predeterminada o seleccionar una carpeta diferente haciendo clic en el botón ‘Browse’ y seleccionando una ubicación personalizada.
4. Proceso de instalación: La instalación descargará varias bibliotecas de software, pesos de modelos de IA y archivos de motor. Si la instalación falla, vuelva a ejecutar el instalador y continuará desde donde se detuvo. Si persisten los problemas, seleccione ‘hacer una instalación limpia’ en el siguiente intento.

Configuración inicial

1. Interfaz de usuario: Tras la instalación, se creará un ícono en el escritorio y se lanzará la aplicación. Se abrirá una pestaña del navegador mostrando la interfaz de usuario de ChatRTX y una ventana de comando de Windows para mostrar los registros de errores.
2. Modelo y datos predeterminados: La aplicación por defecto utilizará el modelo Mistral 7B int4 y la carpeta de datos predeterminada que contiene una colección de artículos de noticias de GeForce. Puede chatear y hacer preguntas sobre esta colección o apuntar la aplicación a su propia carpeta de datos.

Uso de ChatRTX

Carga de datos y modelos

1. Seleccionar modelos de IA: Puede seleccionar el modelo Mistral 7B int4 haciendo clic en el cuadro de selección etiquetado “Select AI Model”.
2. Agregar nuevos modelos: Para agregar modelos de IA, haga clic en la opción “Add new models” y seleccione un modelo de la lista disponible. Esto descargará el modelo de IA a su sistema local.
3. Seleccionar carpeta de datos: Para utilizar sus propios datos, haga clic en el ícono de lápiz junto a la fila que muestra la ruta de la carpeta de datos actual y navegue hasta la carpeta deseada. La aplicación recreará las incrustaciones vectoriales utilizando los documentos en la carpeta seleccionada.

Ejemplos de uso

Modelo Mistral 7B int4

Ejemplo 1: Atención al cliente

• Pregunta: “¿Cuáles son los horarios de atención al cliente?”
• Respuesta: El modelo buscará en los documentos proporcionados y responderá con los horarios especificados en sus archivos.

Ejemplo 2: Generación de contenido

• Pregunta: “Genera un resumen de las novedades en GeForce.”
• Respuesta: El modelo utilizará los artículos de noticias en la carpeta de datos para crear un resumen coherente y estructurado.

Modelo CLIP

Ejemplo 1: Clasificación de imágenes

• Pregunta: “Muestra imágenes que tengan gatos.”
• Respuesta: El modelo CLIP buscará en las imágenes proporcionadas y mostrará aquellas que contengan gatos.

Ejemplo 2: Búsqueda visual

• Pregunta: “Muestra fotos tomadas al aire libre.”
• Respuesta: CLIP identificará y mostrará las imágenes que correspondan a la descripción.

Características adicionales

• Uso de RAG (Generación Aumentada por Recuperación): ChatRTX utiliza RAG para buscar archivos locales y usar esa información para proporcionar contexto en las respuestas.
• Entrada de voz: ChatRTX integra el modelo Whisper para traducción de audio a texto. Asegúrese de que el micrófono de su sistema esté habilitado, haga clic en el ícono del micrófono, realice su pregunta y luego haga clic en ‘stop’ para detener la grabación.

Consejos y consideraciones

• Precisión de respuestas: La precisión de las respuestas depende de la especificidad de la pregunta, la precisión del modelo de IA utilizado y la precisión del conjunto de datos.
• Generación de incrustaciones vectoriales: Si se agregan nuevos archivos a la carpeta seleccionada, las incrustaciones vectoriales deben regenerarse haciendo clic en el ícono de ‘Refresh’.

Cierre de la aplicación

Para cerrar la aplicación, haga clic en el ícono de botón de encendido en la esquina superior derecha de la aplicación. En la ventana de comandos, presione cualquier tecla en su teclado para cerrar el backend de la aplicación.

Problemas conocidos y limitaciones

1. Compatibilidad del Navegador: La aplicación funciona con Microsoft Edge y Google Chrome. Actualmente, no es compatible con Firefox.
2. Falta de Contexto en Preguntas de Seguimiento: La aplicación no recuerda el contexto de preguntas anteriores.
3. Atribución de Fuente Incorrecta: La atribución de archivos fuente en las respuestas puede ser incorrecta.
4. Estados Inutilizables: Si la aplicación se queda en un estado inutilizable, elimine el archivo preferences.json ubicado en C:\Users<user>\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
5. Problemas de Reinstalación: En caso de fallas de reinstalación, elimine el directorio de instalación predeterminado ubicado en C:\Users<user>\AppData\Local\NVIDIA\ChatWithRTX.

Conclusión

ChatRTX ofrece una poderosa herramienta para personalizar la interacción con modelos de lenguaje grande utilizando sus propios datos. Con la capacidad de trabajar tanto con texto como con imágenes, y la integración de características avanzadas como RAG y entrada de voz, esta aplicación proporciona una solución robusta y eficiente para diversas necesidades. Asegúrese de seguir los pasos de instalación y configuración para obtener el máximo provecho de ChatRTX.