llama.cpp

Le moteur rapide et léger derrière de nombreuses applications d’IA locale, pour ceux qui veulent tout contrôler en ligne de commande.

par Communauté ggml.org (open source) Pas encore noté

Qu’est-ce que c’est ?

llama.cpp est un moteur open source en C/C++ qui fait tourner efficacement des modèles de langage sur du matériel ordinaire, du portable au serveur, avec le processeur et/ou la carte graphique (NVIDIA, AMD, Apple Metal, Vulkan). C’est lui qui a créé le format de modèle GGUF utilisé par Ollama, LM Studio, Jan et d’autres. Utilisez-le directement pour profiter des dernières nouveautés, optimiser finement la vitesse ou faire tourner des modèles sur un serveur.

Installation

Choisissez l’option la plus simple pour votre système :

  • macOS / Linux avec Homebrew :
Terminal
brew install llama.cpp
  • Windows : winget install llama.cpp, ou téléchargez une version prête à l’emploi sur la page Releases (version CUDA pour les cartes NVIDIA).
  • Compiler depuis les sources (tous systèmes, nécessite git et cmake) :
Terminal
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release

Utilisation

Discutez dans le terminal avec un modèle téléchargé directement depuis Hugging Face :

Terminal
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

Ou lancez une interface web locale et une API compatible OpenAI sur le port 8080 :

Terminal
llama-server -hf ggml-org/gemma-3-1b-it-GGUF --port 8080

Ouvrez ensuite http://localhost:8080 dans votre navigateur. Si vous avez déjà un fichier .gguf, utilisez -m chemin/vers/modele.gguf à la place de -hf.

Astuce

Options utiles : -c 8192 définit la taille du contexte (la quantité de texte que le modèle garde en mémoire), et -ngl 99 place toutes les couches sur la carte graphique pour plus de vitesse.

Limites

  • Uniquement en ligne de commande (hormis la page web simple de llama-server).
  • Les options évoluent vite : consultez llama-cli --help et le README du projet.

Guides pour llama.cpp

Débutant 10 min

Choisir le bon modèle local pour votre ordinateur

Comprenez les paramètres, la quantification et la mémoire, et découvrez quels modèles d’IA locaux votre ordinateur peut faire tourner confortablement.

Outils : Ollama, LM Studio, llama.cpp

Commentaires 0

Partagez vos astuces, les prompts qui ont marché pour vous, ou vos questions.

Aucun commentaire pour l’instant. Soyez le premier à partager une astuce.