Una prueba documentada muestra cómo el flag –n-cpu-moe de llama.cpp descarga los expertos de un modelo Mixture-of-Experts a la RAM del sistema y multiplica por ocho...
La inteligencia artificial local ya no se limita a abrir un modelo y escribir prompts. Cada vez más usuarios quieren algo más completo: descargar modelos, probarlos,...