Meta vient de publier Llama 4, son modèle d'IA open source le plus puissant à ce jour, atteignant des performances comparables à celles du GPT-5 d'OpenAI sur plusieurs tests de référence, notamment le raisonnement, les mathématiques, le codage et la compréhension multilingue. Avec 1 000 milliards de paramètres (dense, pas MoE), Llama 4 a été formé sur 15 000 milliards de jetons de données accessibles au public, à l'aide du nouveau supercluster d'IA interne de Meta avec 100 000 GPU H100. Le modèle est disponible en trois versions : Llama 4 Base (1T), Llama 4 Instruct (affiné pour le chat et le suivi des instructions) et Llama 4 Code (spécialisé pour la programmation). Sur MMLU, Llama 4 Instruct obtient un score de 89,5 % (GPT‑5 : 89,7 %), et sur le codage HumanEval, il obtient 91 % pass@1 (GPT‑5 : 92 %). Ce qui change vraiment la donne, c'est la licence : Llama 4 est entièrement open source, permettant une utilisation commerciale et de recherche sans restrictions, y compris les poids des modèles, l'architecture et le code de formation. Cela rend l’IA de pointe accessible aux startups, aux chercheurs et aux gouvernements du monde entier, mettant ainsi fin à la domination des sources fermées d’OpenAI et de Google. Meta s'est associé à AWS, Azure et GCP pour proposer Llama 4 en tant que service géré, avec un prix aussi bas que 2 $ par million de jetons (contre 15 $ pour GPT‑5). La société affirme que Llama 4 a été formé avec un nouveau « Sparse Attention with Adaptive Routing » qui réduit le coût d'inférence de 40 % par rapport aux modèles denses de taille similaire. Cet article couvre l'architecture du modèle, les références de performances, les licences, les modalités d'accès et ce que cela signifie pour l'industrie de l'IA et la concurrence mondiale.
Architecture Deep Dive: Sparse Attention with Adaptive Routing
Le mécanisme SAAR est un modèle d’attention clairsemée appris. Le modèle génère un vecteur de requête et utilise un petit MLP pour prédire quels jetons clés sont pertinents. Seuls ces jetons sont pris en compte, réduisant la matrice d'attention de 128 000 × 128 000 à ~ 1 000 × 1 000. Le routage est adaptatif : il change par couche et par tête, permettant au modèle d'attribuer dynamiquement le calcul aux jetons importants. Cela se traduit par une réduction de 40 % des FLOP d'inférence par rapport à un transformateur dense de même taille, tout en conservant la précision. La durée de la formation a également été réduite d'environ 3 mois à 2 mois sur le cluster RSC 2.0.
Benchmarks: How Llama 4 Stacks Against GPT‑5, Claude 4, and Gemini Ultra
Sur le MMLU standard, Llama 4 atteint 89,5 %, soit seulement 0,2 % en dessous de GPT‑5. En MATH (raisonnement mathématique), il obtient un score de 84,8 % contre 85,2 % pour GPT‑5. Sur HumanEval, Llama 4 Code obtient 91 % contre 92 %. Au GSM8K (mathématiques à l'école primaire), il obtient un score de 95,3 % (GPT‑5 : 96,5 %). Sur les tâches multilingues (FLORES), Llama 4 bat GPT‑5 dans 12 des 20 langues. Dans les évaluations des préférences humaines (classements ELO), Llama 4 est noté légèrement en dessous de GPT‑5 mais au-dessus de Claude 4 et Gemini Ultra. Ces résultats en font le meilleur modèle open source jamais publié.
Open‑Source License: What Does 'Fully Open' Mean?
Contrairement aux modèles Llama précédents, Llama 4 n’a aucune restriction d’utilisation commerciale. Vous pouvez l'intégrer dans n'importe quel produit, l'affiner et même redistribuer des versions modifiées. La licence est une licence permissive personnalisée (similaire au MIT) mais avec une clause exigeant l'attribution. Il s'agit d'un changement radical par rapport aux modèles fermés d'OpenAI et de Google, et cela devrait déclencher une vague d'innovation dans les soins de santé, l'éducation et bien d'autres secteurs. Meta a également publié l'ensemble de données de formation (anonymisé) et l'intégralité du code de formation, rendant la reproduction possible.
How to Access Llama 4
Vous pouvez télécharger les poids depuis Hugging Face (nécessite une inscription) ou utiliser l'API via les partenaires de Meta : AWS Bedrock, Azure AI Studio et Google Cloud Vertex AI. Le prix de l'API est de 2 $ par million de jetons d'entrée et de 6 $ par million de jetons de sortie, ce qui est nettement moins cher que GPT‑5. Il existe également une interface de chat gratuite sur llama.meta.com avec des limites de débit. Pour l’auto-hébergement à grande échelle, Meta fournit un conteneur d’inférence optimisé avec prise en charge de vLLM et TensorRT‑LLM.
Impact on AI Industry: The End of Proprietary Dominance?
La sortie ouverte de Llama 4 est un événement sismique. Les startups peuvent désormais créer des applications sur un modèle de classe GPT‑5 sans payer de frais API élevés ni partager de données avec les grandes technologies. Les gouvernements peuvent déployer une IA souveraine. Les chercheurs peuvent analyser et améliorer le modèle. Cela pourrait accélérer la recherche sur la sécurité de l’IA et démocratiser l’accès. OpenAI et Google pourraient être contraints de baisser leurs prix ou d'ouvrir leurs modèles. Les analystes prédisent une « explosion cambrienne » des applications d’IA au cours de l’année prochaine, alors que Llama 4 deviendra le modèle de base par défaut pour les développeurs du monde entier.
Energy and Environmental Considerations
Training Llama 4 a consommé environ 50 GWh d'électricité, soit environ la consommation annuelle de 5 000 foyers américains. Meta a compensé cela avec des crédits d'énergie renouvelable. Cependant, le coût d’inférence est bien inférieur grâce au SAAR, et la nature open source permet l’optimisation. Les chercheurs ont déjà porté Llama 4 pour qu'il fonctionne sur des appareils de pointe (smartphones) via la quantification, ouvrant ainsi la porte à l'IA sur appareil. Meta s'engage à réduire l'empreinte carbone des futurs modèles.
What This Means for Developers: Build Anything, Anywhere
Pour les développeurs, Llama 4 est un rêve. Vous pouvez créer des agents IA, des chatbots, des copilotes et des outils d'analyse personnalisés sans les contraintes des API fermées. Le modèle peut être affiné sur des données propriétaires avec seulement 100 exemples (quelques clichés). De nombreuses entreprises ont déjà annoncé des produits basés sur Llama 4 quelques heures après leur sortie, notamment un assistant de diagnostic médical, un analyseur de contrats juridiques et un tuteur de codage personnel. L'avenir est ouvert.
⚡ Key Highlights
1 Trillion Parameters – Open‑Source and Free
Modèle dense avec des performances rivalisant avec GPT‑5, disponible sous une licence open source permissive (similaire à Llama 3 mais sans restrictions d'utilisation). Poids, code de formation et architecture entièrement publiés.
89.5% on MMLU – Matches GPT‑5 on Reasoning
Évalué sur MMLU (87 % en mathématiques, 92 % en sciences humaines, 86 % en sciences) – presque identique au GPT-5 (89,7 %) et dépassant Claude 4 (87,1 %).
91% on HumanEval – Competitive with GPT‑5 for Coding
Llama 4 Code obtient un score de 91 % pass@1 sur HumanEval, contre 92 % pour GPT-5 et 88 % pour Claude 4. Excelle en Python, JavaScript et Rust.
Multilingual Support – 200 Languages
Formé sur un corpus multilingue diversifié, surpasse le GPT‑5 dans de nombreuses langues à faibles ressources (par exemple, le swahili, le tagalog, l'hindi).
128k Context Window (Expandable to 1M)
Gère les longs documents, bases de code et conversations. Un contexte expérimental 1M via une attention par fenêtre coulissante est disponible dans les branches de recherche.
Ultra‑Low Inference Cost – $2/M Tokens (Hosted)
Grâce au SAAR et à la quantification (FP8), l'inférence hébergée est 7 fois moins chère que GPT‑5, et l'auto-hébergement est encore inférieur (estimé à 0,50 $/million de jetons sur du matériel de base).
Customizable and Fine‑Tunable
L’open source complet permet à chacun d’affiner ses propres données pour des tâches spécifiques à un domaine (médical, juridique, financier) – une capacité non disponible avec les modèles fermés.
Partnerships with Major Cloud Providers
AWS, Azure, GCP et OVH proposent Llama 4 en tant que service géré avec un accès API facile. Premier mois gratuit pour les développeurs.
✓Pros
- ✓Des performances comparables à celles de GPT‑5 à une fraction du coût
- ✓Entièrement open source – aucune restriction d'utilisation ou de redistribution
- ✓Coût d'inférence ultra faible : 2 $/million de jetons hébergés, auto-hébergés encore moins chers
- ✓Multilingue et multimodal (texte uniquement mais gère le code et les données structurées)
- ✓Grande fenêtre contextuelle (128 Ko) prend en charge les documents longs
- ✓Personnalisable et affinable pour les tâches spécifiques au domaine
- ✓Disponible sur les principaux fournisseurs de cloud avec un accès API facile
- ✓Démocratise l’IA frontalière – permet l’innovation dans les régions mal desservies
✗Cons
- ✗1 000 milliards de paramètres nécessitent un matériel important pour l’auto-hébergement (au moins 8 GPU A100)
- ✗Les données d'entraînement peuvent présenter des biais et des limites (bien que Meta ait mis en œuvre un filtrage)
- ✗Pas encore multimodal (pas de vision ni d’audio natif) – mais Meta a fait allusion à une version multimodale en 2027
- ✗L’octroi de licence nécessite toujours l’attribution et interdit l’utilisation pour certaines applications nuisibles (non contraignant)
- ✗Le support communautaire et la documentation ne font que commencer – cela peut prendre du temps pour mûrir
- ✗L’open source permet aux mauvais acteurs d’utiliser le modèle à mauvais escient – Meta s’appuie sur des engagements d’utilisation responsable
- ✗Le prix des API hébergées, bien que bon marché, reste intéressant pour une production à grande échelle
- ✗Le modèle n’est peut-être pas aussi axé sur la sécurité que le GPT-5 (pas d’audit fondé sur la constitution)