Meta hat gerade Llama 4 veröffentlicht, sein bisher leistungsstärkstes Open-Source-KI-Modell, das in mehreren Benchmarks – einschließlich Argumentation, Mathematik, Codierung und mehrsprachigem Verständnis – eine Leistung auf Augenhöhe mit OpenAIs GPT-5 erreicht. Mit 1 Billion Parametern (dicht, nicht MoE) wurde Llama 4 auf 15 Billionen Tokens öffentlich verfügbarer Daten trainiert, wobei Metas neuer hauseigener KI-Supercluster mit 100.000 H100-GPUs verwendet wurde. Das Modell ist in drei Varianten erhältlich: Llama 4 Base (1T), Llama 4 Instruct (fein abgestimmt für Chat und Anweisungen) und Llama 4 Code (spezialisiert auf Programmierung). Bei MMLU erreicht Llama 4 Instruct 89,5 % (GPT-5: 89,7 %), und bei HumanEval-Codierung erreicht es 91 % pass@1 (GPT-5: 92 %). Der eigentliche Game-Changer ist die Lizenz: Llama 4 ist vollständig Open Source und ermöglicht die kommerzielle und wissenschaftliche Nutzung ohne Einschränkungen, einschließlich Modellgewichten, Architektur und Trainingscode. Dies macht Pionier-KI für Start-ups, Forscher und Regierungen weltweit zugänglich und beendet die Closed-Source-Dominanz von OpenAI und Google. Meta hat sich mit AWS, Azure und GCP zusammengetan, um Llama 4 als verwalteten Dienst mit einem Preis von nur 2 US-Dollar pro Million Token anzubieten (im Vergleich zu 15 US-Dollar bei GPT-5). Das Unternehmen behauptet, dass Llama 4 mit einem neuartigen „Sparse Attention with Adaptive Routing“ trainiert wurde, das die Inferenzkosten im Vergleich zu dichten Modellen ähnlicher Größe um 40 % reduziert. In diesem Artikel werden die Modellarchitektur, Leistungsbenchmarks, die Lizenzierung, der Zugriff und ihre Bedeutung für die KI-Branche und den globalen Wettbewerb behandelt.
Architecture Deep Dive: Sparse Attention with Adaptive Routing
Der SAAR-Mechanismus ist ein erlerntes Muster geringer Aufmerksamkeit. Das Modell generiert einen Abfragevektor und verwendet einen kleinen MLP, um vorherzusagen, welche Schlüsseltoken relevant sind. Nur diese Token werden betreut, wodurch die Aufmerksamkeitsmatrix von 128.000 x 128.000 auf ~1.000 x 1.000 reduziert wird. Das Routing ist adaptiv – es ändert sich pro Schicht und pro Kopf, sodass das Modell wichtigen Token dynamisch Rechenleistung zuweisen kann. Dies führt zu einer Reduzierung der Inferenz-FLOPs um 40 % im Vergleich zu einem dichten Transformator derselben Größe, während die Genauigkeit erhalten bleibt. Auch die Schulungszeit wurde auf dem RSC 2.0-Cluster von geschätzten 3 Monaten auf 2 Monate verkürzt.
Benchmarks: How Llama 4 Stacks Against GPT‑5, Claude 4, and Gemini Ultra
Auf der Standard-MMLU erreicht Llama 4 89,5 %, nur 0,2 % unter GPT-5. Bei MATH (mathematisches Denken) erreicht es 84,8 % gegenüber 85,2 % bei GPT-5. Bei HumanEval erreicht Llama 4 Code 91 % gegenüber 92 %. Bei GSM8K (Grundschulmathematik) erreicht es 95,3 % (GPT-5: 96,5 %). Bei mehrsprachigen Aufgaben (FLORES) schlägt Llama 4 GPT-5 in 12 von 20 Sprachen. Bei menschlichen Präferenzbewertungen (ELO-Bewertungen) wird Llama 4 leicht unter GPT-5, aber über Claude 4 und Gemini Ultra bewertet. Diese Ergebnisse machen es zum besten Open-Source-Modell, das jemals veröffentlicht wurde.
Open‑Source License: What Does 'Fully Open' Mean?
Im Gegensatz zu früheren Llama-Modellen gibt es für Llama 4 keine kommerziellen Nutzungsbeschränkungen. Sie können es in jedes Produkt integrieren, es optimieren und sogar geänderte Versionen weiterverbreiten. Bei der Lizenz handelt es sich um eine benutzerdefinierte Erlaubnislizenz (ähnlich der MIT), jedoch mit einer Klausel, die eine Namensnennung erfordert. Dies ist eine radikale Abkehr von OpenAI und den geschlossenen Modellen von Google und wird voraussichtlich eine Welle von Innovationen im Gesundheitswesen, im Bildungswesen und in vielen anderen Sektoren auslösen. Meta hat außerdem den Trainingsdatensatz (anonymisiert) und den gesamten Trainingscode veröffentlicht, sodass eine Reproduktion möglich ist.
How to Access Llama 4
Sie können die Gewichte von Hugging Face herunterladen (Registrierung erforderlich) oder die API über Metas Partner verwenden: AWS Bedrock, Azure AI Studio und Google Cloud Vertex AI. Der API-Preis beträgt 2 US-Dollar pro Million Input-Tokens und 6 US-Dollar pro Million Output-Tokens – deutlich günstiger als GPT-5. Es gibt auch eine kostenlose Chat-Schnittstelle unter llama.meta.com mit Ratenbegrenzungen. Für groß angelegtes Selbsthosting bietet Meta einen optimierten Inferenzcontainer mit vLLM- und TensorRT-LLM-Unterstützung.
Impact on AI Industry: The End of Proprietary Dominance?
Die offene Veröffentlichung von Llama 4 ist ein seismisches Ereignis. Startups können jetzt Anwendungen auf der Grundlage eines GPT-5-Klassenmodells erstellen, ohne hohe API-Gebühren zu zahlen oder Daten mit großen Technologieunternehmen zu teilen. Regierungen können souveräne KI einsetzen. Forscher können das Modell analysieren und verbessern. Dies könnte die KI-Sicherheitsforschung beschleunigen und den Zugang demokratisieren. OpenAI und Google könnten gezwungen sein, die Preise zu senken oder ihre Modelle zu öffnen. Analysten prognostizieren für das nächste Jahr eine „kambrische Explosion“ von KI-Anwendungen, da Llama 4 zum Standard-Grundmodell für Entwickler weltweit wird.
Energy and Environmental Considerations
Training Llama 4 verbrauchte schätzungsweise 50 GWh Strom – etwa der Jahresverbrauch von 5.000 US-Haushalten. Meta hat dies durch Gutschriften für erneuerbare Energien ausgeglichen. Allerdings sind die Inferenzkosten aufgrund von SAAR viel geringer und die Open-Source-Natur ermöglicht eine Optimierung. Forscher haben Llama 4 bereits mittels Quantisierung für die Ausführung auf Edge-Geräten (Smartphones) portiert und damit die Tür zur On-Device-KI geöffnet. Meta setzt sich dafür ein, den CO2-Fußabdruck zukünftiger Modelle zu reduzieren.
What This Means for Developers: Build Anything, Anywhere
Für Entwickler ist Llama 4 ein Traum. Sie können benutzerdefinierte KI-Agenten, Chatbots, Copiloten und Analysetools ohne die Einschränkungen geschlossener APIs erstellen. Das Modell kann anhand proprietärer Daten anhand von nur 100 Beispielen (wenige Aufnahmen) verfeinert werden. Viele Unternehmen haben bereits wenige Stunden nach der Veröffentlichung Llama 4-basierte Produkte angekündigt, darunter einen medizinischen Diagnoseassistenten, einen Rechtsvertragsanalysator und einen persönlichen Programmierlehrer. Die Zukunft ist offen.
⚡ Key Highlights
1 Trillion Parameters – Open‑Source and Free
Dichtes Modell mit einer Leistung, die mit GPT‑5 mithalten kann, verfügbar unter einer freizügigen Open-Source-Lizenz (ähnlich wie Llama 3, aber ohne Nutzungseinschränkungen). Gewichte, Trainingscode und Architektur vollständig veröffentlicht.
89.5% on MMLU – Matches GPT‑5 on Reasoning
Benchmarked auf MMLU (87 % in Mathematik, 92 % in Geisteswissenschaften, 86 % in Naturwissenschaften) – nahezu identisch mit GPT-5 (89,7 %) und über Claude 4 (87,1 %).
91% on HumanEval – Competitive with GPT‑5 for Coding
Llama 4 Code erreicht bei HumanEval 91 % „pass@1“, verglichen mit 92 % bei GPT-5 und 88 % bei Claude 4. Hervorragend geeignet für Python, JavaScript und Rust.
Multilingual Support – 200 Languages
Auf einem vielfältigen mehrsprachigen Korpus geschult, übertrifft GPT-5 in vielen ressourcenarmen Sprachen (z. B. Suaheli, Tagalog, Hindi).
128k Context Window (Expandable to 1M)
Behandelt lange Dokumente, Codebasen und Konversationen. Experimenteller 1M-Kontext über Sliding-Window-Aufmerksamkeit ist in Forschungszweigen verfügbar.
Ultra‑Low Inference Cost – $2/M Tokens (Hosted)
Aufgrund von SAAR und Quantisierung (FP8) ist die gehostete Inferenz siebenmal günstiger als GPT-5, und das Selbst-Hosting ist sogar noch günstiger (geschätzte 0,50 $/Million Token auf Standardhardware).
Customizable and Fine‑Tunable
Vollständige Open-Source-Lösung ermöglicht jedem die Feinabstimmung seiner eigenen Daten für domänenspezifische Aufgaben (Medizin, Recht, Finanzen) – eine Funktion, die bei geschlossenen Modellen nicht verfügbar ist.
Partnerships with Major Cloud Providers
AWS, Azure, GCP und OVH bieten Llama 4 als verwalteten Dienst mit einfachem API-Zugriff an. Der erste Monat ist für Entwickler kostenlos.
✓Pros
- ✓Leistung auf Augenhöhe mit GPT-5 zu einem Bruchteil der Kosten
- ✓Vollständig Open Source – keine Einschränkungen bei der Nutzung oder Weiterverbreitung
- ✓Extrem niedrige Inferenzkosten – gehostete Token im Wert von 2 $/Million, selbst gehostet sogar noch günstiger
- ✓Mehrsprachig und multimodal (nur Text, verarbeitet aber Code und strukturierte Daten)
- ✓Großes Kontextfenster (128 KB) unterstützt lange Dokumente
- ✓Anpassbar und feinabstimmbar für domänenspezifische Aufgaben
- ✓Verfügbar bei großen Cloud-Anbietern mit einfachem API-Zugriff
- ✓Demokratisiert Grenz-KI – ermöglicht Innovation in unterversorgten Regionen
✗Cons
- ✗1 Billion Parameter erfordern erhebliche Hardware für das Selbsthosting (mindestens 8 A100-GPUs)
- ✗Trainingsdaten können Verzerrungen und Einschränkungen aufweisen (obwohl Meta eine Filterung implementiert hat)
- ✗Noch nicht multimodal (keine native Vision oder Audio) – aber Meta hat eine multimodale Version im Jahr 2027 angedeutet
- ✗Die Lizenzierung erfordert weiterhin die Nennung und verbietet die Nutzung für bestimmte schädliche Anwendungen (unverbindlich)
- ✗Der Community-Support und die Dokumentation fangen gerade erst an – es kann einige Zeit dauern, bis sie ausgereift sind
- ✗Open-Source ermöglicht es böswilligen Akteuren, das Modell zu missbrauchen – Meta setzt auf Zusagen zur verantwortungsvollen Nutzung
- ✗Die Preise für gehostete APIs sind zwar günstig, lohnen sich aber dennoch für die Produktion im großen Maßstab
- ✗Das Modell ist möglicherweise nicht so sicherheitsorientiert wie GPT-5 (keine verfassungsbasierte Prüfung).