Estoy intentando correr LLaMA 3 (13B) localmente con llama.cpp en Ubuntu 22.04, sin GPU, solo CPU (Ryzen 7, 16 GB RAM).

Logré compilar el repo (make LLAMA_CUBLAS=0) y descargué el modelo convertido (gguf en 4-bit).

Pero al ejecutar con:

./main -m models/llama-3-13b.gguf -p "¿Cuál es la capital de Francia?"

Me tira este error:

error: failed to allocate 13000 MB of memory

Probé bajando a -ngl 0 o cambiando --n-gpu-layers 0, pero sigue fallando.

¿A alguien le funcionó este modelo en CPU con 16 GB? ¿Será que necesito la versión de 7B sí o sí?

Agradezco sugerencias. Dejo mis logs y configuración completa acá en pastebin: .

Saludos y gracias!