L’engouement pour l’intelligence artificielle est tel que la Raspberry Pi Foundation a lancé un nouvel AI Hat+, un module complémentaire dédié à l’IA. Cela dit, il n’est pas nécessaire d’avoir un matériel spécifique pour exécuter des modèles d’IA sur un Raspberry Pi.
Il est tout à fait possible d’exécuter de petits modèles de langage en local à l’aide du CPU. Certes, la génération de texte est plus lente, mais certains modèles légers fonctionnent relativement bien. Voici comment procéder.
Exigences
Pour obtenir une expérience correcte, il est recommandé d’utiliser un Raspberry Pi avec au moins 2 Go de RAM. Dans cet exemple, j’utilise un Raspberry Pi 4 avec 4 Go de RAM. Certains utilisateurs ont même réussi à exécuter des modèles d’IA sur un Raspberry Pi Zero 2 W doté de 512 Mo de RAM. Vous aurez également besoin :
- D’une carte microSD d’au moins 8 Go de stockage.
- D’un accès à internet pour télécharger les dépendances.
Installation de Ollama sur Raspberry Pi
Avant d’installer Ollama, assurez-vous que votre Raspberry Pi est bien configuré et fonctionnel. Ensuite, ouvrez un Terminal et mettez à jour les paquets en exécutant la commande suivante : sudo apt update && sudo apt upgrade
Une fois la mise à jour terminée, installez Ollama en exécutant la commande suivante : curl -fsSL https://ollama.com/install.sh | sh
Une fois l’installation terminée, Ollama affichera un message d’avertissement, indiquant qu’il utilisera le CPU pour exécuter les modèles IA en local. Vous êtes maintenant prêt à utiliser des modèles d’intelligence artificielle sur votre Raspberry Pi.
Exécuter des modèles d’IA en local sur Raspberry Pi
Après l’installation d’Ollama, vous pouvez commencer à exécuter des modèles légers. Par exemple, pour installer et exécuter TinyLlama, un petit modèle de 1,1 milliard de paramètres qui consomme environ 638 Mo de RAM, utilisez cette commande : ollama run tinyllama
Une fois le modèle téléchargé, vous pouvez entrer une requête et appuyer sur Entrée pour voir la réponse générée. Gardez à l’esprit que la génération est relativement lente, surtout sur un Raspberry Pi 4.
Utilisation d’un modèle encore plus léger ou un modèle plus avancé
Si vous souhaitez un modèle encore plus efficace, Smollm (135M paramètres) ne consomme que 92 Mo de mémoire, ce qui le rend idéal pour un Raspberry Pi : ollama run smollm:135 m.
Si vous utilisez un Raspberry Pi 5 avec plus de RAM, vous pouvez essayer Microsoft Phi, un modèle de 2,7 milliards de paramètres nécessitant 1,6 Go de mémoire : ollama run phi.
C’est ainsi que vous pouvez exécuter des modèles d’IA en local sur un Raspberry Pi, sans avoir besoin de matériel supplémentaire. Ollama est une solution simple et rapide à installer. Bien qu’il existe d’autres frameworks, comme Llama.cpp, l’installation et la configuration peuvent être plus complexes. Avec seulement deux commandes, vous pouvez commencer à utiliser un LLM (Large Language Model) directement sur votre Raspberry Pi.
