Curiosidades3 semanas ago
Un flag de llama.cpp permite correr un modelo 35B en 8GB de VRAM
Una prueba documentada muestra cómo el flag –n-cpu-moe de llama.cpp descarga los expertos de un modelo Mixture-of-Experts a la RAM del sistema y multiplica por ocho...
