Cómo ejecutar un LLM en un Raspberry Pi simple
undefined 21, 2024
Intenté ejecutar un Modelo de Lenguaje Grande (LLM) en un Raspberry Pi 5 con 8 GB de RAM para ver si podría funcionar en un sistema pequeño con internet limitado o sin él. Elegí el modelo Phi-3 a través de Ollama, una herramienta para ejecutar LLMs localmente. Con 8 GB de RAM, los modelos de más de 7 mil millones de parámetros no son prácticos, así que probé la versión de 3.8 mil millones de parámetros. Esta configuración mostró que es posible usar LLMs en un Raspberry Pi, aunque con capacidad limitada para modelos más grandes.
Read full article
