Qu’est-ce que c’est ?
llama.cpp est un moteur open source en C/C++ qui fait tourner efficacement des modèles de langage sur du matériel ordinaire, du portable au serveur, avec le processeur et/ou la carte graphique (NVIDIA, AMD, Apple Metal, Vulkan). C’est lui qui a créé le format de modèle GGUF utilisé par Ollama, LM Studio, Jan et d’autres. Utilisez-le directement pour profiter des dernières nouveautés, optimiser finement la vitesse ou faire tourner des modèles sur un serveur.
Installation
Choisissez l’option la plus simple pour votre système :
- macOS / Linux avec Homebrew :
brew install llama.cpp- Windows :
winget install llama.cpp, ou téléchargez une version prête à l’emploi sur la page Releases (version CUDA pour les cartes NVIDIA). - Compiler depuis les sources (tous systèmes, nécessite
gitetcmake) :
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config ReleaseUtilisation
Discutez dans le terminal avec un modèle téléchargé directement depuis Hugging Face :
llama-cli -hf ggml-org/gemma-3-1b-it-GGUFOu lancez une interface web locale et une API compatible OpenAI sur le port 8080 :
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080Ouvrez ensuite http://localhost:8080 dans votre navigateur. Si vous avez déjà un fichier .gguf, utilisez -m chemin/vers/modele.gguf à la place de -hf.
Astuce
Options utiles : -c 8192 définit la taille du contexte (la quantité de texte que le modèle garde en mémoire), et -ngl 99 place toutes les couches sur la carte graphique pour plus de vitesse.
Limites
- Uniquement en ligne de commande (hormis la page web simple de
llama-server). - Les options évoluent vite : consultez
llama-cli --helpet le README du projet.
Commentaires 0
Partagez vos astuces, les prompts qui ont marché pour vous, ou vos questions.
Aucun commentaire pour l’instant. Soyez le premier à partager une astuce.
Connectez-vous ou créez un compte gratuit pour commenter.