⚙️
Tools Box
IA & LLM
🤖IA & LLM
Gratuit

Ollama

Runtime open-source pour faire tourner des LLMs en local sur ton Mac, PC ou serveur. CLI simple : ollama run llama3.1, et tu as un LLM en local en 30 secondes.

Visiter le site

[!info] TL;DR : Runtime open source pour faire tourner des LLMs en local sur ton Mac, PC ou serveur. CLI simple : ollama run llama3.1 et tu as un LLM local en 30 secondes.

Ollama : un LLM local en 1 commande

Ollama package le runtime, le téléchargement de modèles et l'API REST. Tu installes une fois, tu run n'importe quel modèle (Llama, Mistral, Qwen, DeepSeek*). Indispensable pour les données sensibles.

*DeepSeek non recommandé personnellement, choix de souveraineté.

Ce que ça permet

  • Faire tourner Llama 3.1, Mistral, Qwen, Phi, Gemma en local
  • API REST locale compatible OpenAI
  • CLI simple (ollama run, ollama pull, ollama list)
  • Aucun envoi cloud, 100% local
  • Compatible avec MCP servers
  • Intégration LangChain, LiteLLM, etc.

Pour qui

  • Devs qui prototypent sans coût API
  • Boîtes RGPD/médical/juridique avec data sensible
  • Lab IA personnel pour expérimenter

Mini-playbook

  1. Install : brew install ollama (Mac) ou curl install.sh (Linux)
  2. ollama run llama3.1 pour tester
  3. API sur http://localhost:11434/api/chat
  4. Pour la prod, considère vLLM ou LMDeploy à la place

Pièges

  • Performance dépend de ton GPU/RAM (Mac M-series très bon)
  • Modèles > 70B nécessitent une grosse machine
  • Pas de fine-tuning intégré (utilise Unsloth ou Axolotl)

Tags

  • Catégorie : 🤖 IA & LLM
  • Tags : LLM, Open Source, Self-host