Source : https://www.linuxtricks.fr/wiki/ia-installer-un-modele-de-langage-llm-avec-ollama
Création d’un machine virtuelle sous Debian 12 avec accès SSH via le VPN.
Informations sur SSH
Exemples de paramétrages à adapter pour Debian 12
- Modification de la variable d’environnement PATH pour pouvoir utiliser les commandes du Shell
- Modification du fichier sources.list sous Debian 11
- Exemple de paramétrages en IP fixe sous debian 11
Ollama est un outil open-source qui permet d’exécuter de grands modèles de langage (LLMs) localement sur votre propre ordinateur.
1. Installer Ollama :
En administrateur root (su)
Télécharger l’archive Ollama :
wget https://ollama.com/download/ollama-linux-amd64.tgz
Extraire l’archive :
tar -C /usr -xvzf ollama-linux-*.tgz
Créer un utilisateur et un groupe dédié (ollama):
useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
Ajouter un utilisateur (mv) dans le groupe ollama :
usermod -a -G ollama mv
Création d’un service systemd :
nano /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
[CRTL] + [X] pour quitter l’éditeur nano.
[O] pour confirmer l’enregistrement des modifications.
[Entrée] pour confirmer le nom du fichier.
Recharger systemd :
systemctl daemon-reload
Activer et démarrer le service :
systemctl enable --now ollama
Pour voir les logs :
journalctl -u ollama
2. Commandes Ollama :
Toutes les commandes ollama peuvent être utilisées en tant qu’utilisateur classique du système (mv dans notre cas).
Pour lister les modèles installés :
ollama list
Installer le modèle llama3 (version légère que j’ai installée) :
ollama pull llama3
Exemple pour la version 70b (trop lourde pour moi !) :
ollama pull llama3:70b
Exécuter le modèle en mode interractif :
ollama run llama3
Exécuter le modèle en one shot :
ollama run llama3 "Qu'est ce que Fedora Linux?"
La suite…