Si quieres ejecutar modelos de lenguaje grandes (LLMs) como Llama 3, Mistral o Phi-3 en tu propia computadora, elegir la distribución de Linux adecuada es el primer paso. Ubuntu, Fedora, Linux Mint y Arch Linux son las mejores alternativas disponibles según criterios objetivos como soporte para GPU, facilidad de uso, documentación y actualización de paquetes. Aquí te explicamos cuál se adapta mejor a ti, con ejemplos prácticos y enlaces de descarga.

Comparativa rápida: Linux para LLMs

Ubuntu

Ubuntu es la distribución más popular para ejecutar LLMs por su facilidad de uso y su extensa documentación. Es ideal si buscas una configuración sencilla y un sistema estable. Además, tiene un excelente soporte para GPU NVIDIA, lo que la hace perfecta para entrenar modelos.

Nivel de usuario: Principiante/Intermedio

Ventaja principal: Soporte NVIDIA y documentación extensa.

Desventaja: Consumo de recursos ligeramente mayor.

Ejemplo práctico: Para instalar PyTorch (una de las bibliotecas más usadas para IA), solo necesitas ejecutar estos comandos en la terminal:

sudo apt update && sudo apt install python3-pip
pip install torch torchvision torchaudio

Fedora

Fedora es ideal si te interesa tener las últimas versiones de paquetes y herramientas. Es desarrollada por Red Hat y ofrece un equilibrio entre innovación y estabilidad. Sin embargo, puede requerir más ajustes manuales para configurar drivers de GPU.

Nivel de usuario: Intermedio

Ventaja principal: Paquetes siempre actualizados.

Desventaja: Menor estabilidad en versiones muy recientes.

Ejemplo práctico: Para instalar Ollama (una herramienta para ejecutar LLMs localmente), usa:

sudo dnf install -y curl
curl -fsSL https://ollama.ai/install.sh | sh

⚠️ Advertencia: En Fedora, los drivers de NVIDIA pueden requerir configuración manual. Si tienes problemas, consulta la guía oficial de RPM Fusion.

Linux Mint

Linux Mint es una de las distribuciones más intuitivas. Su interfaz es similar a Windows, lo que facilita la transición. Aunque no está tan optimizada para IA como Ubuntu, es una opción sólida para aprender y experimentar con LLMs en un entorno cómodo.

Nivel de usuario: Principiante

Ventaja principal: Interfaz intuitiva (similar a Windows).

Desventaja: Menos optimizada para GPU.

Ejemplo práctico: Para instalar Text Generation WebUI (una interfaz gráfica para LLMs), ejecuta:

git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
pip install -r requirements.txt

Arch Linux

Arch Linux es una distribución minimalista y altamente personalizable, ideal para usuarios avanzados que buscan control total sobre su sistema. Su instalación y configuración pueden ser complejas para principiantes, pero ofrece acceso a las últimas versiones de todas las herramientas.

Nivel de usuario: Avanzado

Ventaja principal: Personalización total y ligereza.

Desventaja: Instalación compleja.

Ejemplo práctico: Para instalar Transformers (biblioteca de Hugging Face para LLMs), usa:

sudo pacman -S python-pip
pip install transformers

Primeros pasos después de instalar linux

Antes de sumergirte en el mundo de los LLMs, asegúrate de que tu sistema esté listo:

• Actualizar el sistema:
  sudo apt update && sudo apt upgrade -y (Ubuntu/Debian)
  sudo dnf upgrade -y (Fedora)
• Verificar la GPU:
  nvidia-smi (para NVIDIA) o lspci | grep -i vga (para cualquier GPU).
• Instalar dependencias comunes:
  sudo apt install -y git python3-pip curl wget (Ubuntu/Debian)
  sudo dnf install -y git python3-pip curl wget (Fedora)

Requisitos mínimos para ejecutar LLMs

Los LLMs requieren recursos significativos. Aquí tienes los requisitos mínimos según el modelo:

• Modelos pequeños (ej: Mistral 7B):
  • RAM: 8 GB (16 GB recomendado).
  • GPU: Opcional (puede ejecutarse en CPU, pero será lento).
  • Espacio en disco: 10 GB.
• Modelos medianos (ej: Llama 3 8B):
  • RAM: 16 GB (32 GB recomendado).
  • GPU: NVIDIA con 8 GB de VRAM (ej: RTX 3060) o AMD equivalente.
  • Espacio en disco: 20 GB.
• Modelos grandes (ej: Llama 3 70B):
  • RAM: 32 GB o más.
  • GPU: NVIDIA con 24 GB de VRAM (ej: RTX 4090) o AMD equivalente.
  • Espacio en disco: 50 GB o más.

¿Cómo elegir la distribución ideal para ti?

La elección depende de tu experiencia, hardware y objetivos:

• Principiante o usuario general: Ubuntu o Linux Mint.
• Quieres lo último en software: Fedora.
• Usuario avanzado que busca personalización: Arch Linux.
• Tienes GPU NVIDIA: Ubuntu (mejor soporte para drivers).

Herramientas clave para ejecutar LLMs en linux

Aquí tienes algunas herramientas esenciales para trabajar con LLMs, junto con sus enlaces de descarga:

• Ollama: Ejecuta modelos de lenguaje localmente con un solo comando. Ideal para principiantes por su simplicidad.
• PyTorch: Biblioteca de código abierto para machine learning y deep learning. Es la más utilizada en investigación y desarrollo de LLMs.
• Text Generation WebUI: Interfaz gráfica para interactuar con LLMs. Perfecta para quienes prefieren evitar la línea de comandos.
• Hugging Face Transformers: Biblioteca para trabajar con modelos preentrenados. Ofrece miles de modelos listos para usar.

Errores comunes y cómo evitarlos

• No verificar la compatibilidad de la GPU: Asegúrate de que tu tarjeta gráfica sea compatible con CUDA (para NVIDIA) o ROCm (para AMD). Usa lspci | grep -i nvidia para verificar.
• Instalar Ollama sin permisos: Si recibes errores al ejecutar Ollama, usa sudo chmod +x /usr/local/bin/ollama para dar permisos.
• No actualizar el sistema antes de instalar herramientas: Siempre ejecuta sudo apt update && sudo apt upgrade -y (Ubuntu) o sudo dnf upgrade -y (Fedora) antes de instalar paquetes nuevos.
• Ignorar los requisitos de RAM: Los LLMs grandes requieren mucha memoria. Si tu sistema no cumple con los requisitos, el modelo no se ejecutará correctamente.

Preguntas frecuentes

¿Puedo ejecutar LLMs en linux sin GPU?

Sí, pero el rendimiento será limitado. Modelos pequeños (ej: Mistral 7B) pueden ejecutarse en CPU, pero serán lentos. Para modelos grandes (ej: Llama 3 70B), una GPU es obligatoria.

¿Cuál es la distribución más ligera para LLMs?

Arch Linux es la más ligera, pero requiere conocimientos avanzados. Si buscas algo equilibrado, Ubuntu Server (sin interfaz gráfica) es una buena opción.

¿Necesito saber programar para usar LLMs en linux?

No es obligatorio, pero ayuda. Herramientas como Text Generation WebUI permiten interactuar con LLMs sin código. Sin embargo, para personalizar modelos o usar bibliotecas como PyTorch, sí necesitarás conocimientos de Python.

¿Qué es un LLM?

Un modelo de lenguaje grande (LLM) es un tipo de modelo de inteligencia artificial entrenado con grandes cantidades de texto para generar respuestas coherentes y contextuales. Ejemplos populares incluyen Llama 3, Mistral y Phi-3.

¿Qué es CUDA?

CUDA es una plataforma de computación paralela desarrollada por NVIDIA que permite a las GPUs acelerar aplicaciones de IA, como el entrenamiento y la inferencia de LLMs.

Glosario rápido

• LLM (modelo de lenguaje grande): Modelo de IA capaz de generar texto coherente, como ChatGPT o Llama.
• GPU: Unidad de procesamiento gráfico, esencial para acelerar cálculos en IA.
• CUDA: Plataforma de NVIDIA para computación paralela en GPUs.
• PyTorch: Biblioteca de código abierto para machine learning desarrollada por Facebook.
• ROCm: Plataforma de AMD para computación acelerada en GPUs, alternativa a CUDA.
• VRAM: Memoria dedicada de la tarjeta gráfica, crucial para ejecutar LLMs grandes.