Meta は、これまでで最も強力なオープンソース AI モデルである Llama 4 をリリースし、推論、数学、コーディング、多言語理解などの複数のベンチマークにわたって OpenAI の GPT-5 と同等のパフォーマンスを達成しました。 1 兆のパラメータ (MoE ではなく高密度) を備えた Llama 4 は、100,000 個の H100 GPU を備えた Meta の新しい社内 AI スーパークラスターを使用して、公開されているデータの 15 兆トークンでトレーニングされました。このモデルには、Llama 4 Base (1T)、Llama 4 Instruct (チャットと指示に従って微調整された)、および Llama 4 Code (プログラミングに特化) の 3 種類があります。 MMLU では、Llama 4 Instruct のスコアは 89.5% (GPT-5: 89.7%)、HumanEval コーディングでは 91% pass@1 (GPT-5: 92%) を達成しています。本当の変革をもたらすのは ライセンス です。Llama 4 は完全にオープンソースであり、モデルの重み、アーキテクチャ、トレーニング コードなどを制限なく商用および研究で使用できます。これにより、世界中の新興企業、研究者、政府がフロンティア AI にアクセスできるようになり、OpenAI と Google によるクローズドソースの支配に終止符が打たれます。 Meta は AWS、Azure、GCP と提携して、マネージド サービスとして Llama 4 を提供しており、価格は 100 万トークンあたり 2 ドルという低価格 (GPT-5 の 15 ドルと比較) です。同社は、Llama 4 が、同様のサイズの高密度モデルと比較して推論コストを 40% 削減する新しい 「適応ルーティングによるスパース アテンション」 でトレーニングされたと主張しています。この記事では、モデル アーキテクチャ、パフォーマンス ベンチマーク、ライセンス、アクセス方法、AI 業界と世界的な競争にとっての意味について説明します。
Architecture Deep Dive: Sparse Attention with Adaptive Routing
SAAR メカニズムは、学習されたまばらな注意パターンです。このモデルはクエリ ベクトルを生成し、小規模な MLP を使用してどのキー トークンが関連しているかを予測します。これらのトークンのみが注目されるため、注目マトリックスは 128k×128k から ~1k×1k に減少します。ルーティングは適応的であり、レイヤーごとおよびヘッドごとに変更されるため、モデルは重要なトークンにコンピューティングを動的に割り当てることができます。これにより、精度を維持しながら、同じサイズの高密度トランスフォーマーと比較して推論 FLOP が 40% 削減されます。 RSC 2.0 クラスターでは、トレーニング時間も推定 3 か月から 2 か月に短縮されました。
Benchmarks: How Llama 4 Stacks Against GPT‑5, Claude 4, and Gemini Ultra
標準の MMLU では、Llama 4 は 89.5% を達成し、GPT-5 をわずか 0.2% 下回っています。 MATH (数学的推論) では、GPT-5 の 85.2% に対して 84.8% のスコアを獲得しました。 HumanEval では、Llama 4 コードの勝率は 91% 対 92% でした。 GSM8K (小学校算数) では、95.3% のスコアを獲得しました (GPT‑5: 96.5%)。多言語タスク (FLORES) では、Llama 4 は 20 言語中 12 言語で GPT-5 を上回りました。人間の好みの評価 (ELO 評価) では、Llama 4 は GPT-5 よりわずかに低いものの、Claude 4 や Gemini Ultra よりは上と評価されています。これらの結果により、これはこれまでリリースされた中で最高のオープンソース モデルとなっています。
Open‑Source License: What Does 'Fully Open' Mean?
以前の Llama モデルとは異なり、Llama 4 には商用利用の制限がありません。これを任意の製品に統合したり、微調整したり、修正したバージョンを再配布したりすることもできます。このライセンスは (MIT と同様の) カスタム許容ライセンスですが、帰属を要求する条項が含まれています。これは、OpenAI や Google のクローズド モデルからの根本的な変化であり、医療、教育、その他多くの分野でイノベーションの波を引き起こすことが期待されています。 Meta はトレーニング データセット (匿名化) とトレーニング コード全体も公開しており、再現が可能です。
How to Access Llama 4
重みは Hugging Face からダウンロードするか (登録が必要)、Meta のパートナー (AWS Bedrock、Azure AI Studio、Google Cloud Vertex AI) 経由で API を使用できます。 API の価格は入力トークン 100 万あたり 2 ドル、出力トークン 100 万あたり 6 ドルで、GPT‑5 よりも大幅に安価です。 llama.meta.com には、レート制限付きの無料チャット インターフェイスもあります。大規模なセルフホスティング向けに、Meta は vLLM および TensorRT‑LLM をサポートする最適化された推論コンテナを提供します。
Impact on AI Industry: The End of Proprietary Dominance?
Llama 4 のオープンリリースは衝撃的な出来事です。スタートアップ企業は、高額な API 料金を支払ったり、大手テクノロジー企業とデータを共有したりすることなく、GPT-5-クラス モデル上にアプリケーションを構築できるようになりました。政府は主権型 AI を導入できます。研究者はモデルを分析して改善できます。これにより、AI の安全性研究が加速し、アクセスが民主化される可能性があります。 OpenAIとGoogleは価格の引き下げやモデルのオープン化を余儀なくされる可能性がある。アナリストらは、Llama 4 が世界中の開発者にとってデフォルトの基盤モデルとなるため、来年には AI アプリケーションが「カンブリア紀の爆発」を起こすと予測しています。
Energy and Environmental Considerations
訓練中のラマ 4 は推定 50 GWh の電力を消費しました。これは米国の家庭の年間消費量にほぼ相当します。メタはこれを再生可能エネルギークレジットで相殺した。ただし、SAAR により推論コストは大幅に低くなり、オープンソースの性質により最適化が可能になります。研究者たちはすでに Llama 4 を量子化によってエッジ デバイス (スマートフォン) 上で実行できるように移植し、オンデバイス AI への扉を開きました。メタは、将来のモデルの二酸化炭素排出量の削減に取り組んでいます。
What This Means for Developers: Build Anything, Anywhere
開発者にとって、Llama 4 は夢です。クローズド API の制約を受けることなく、カスタム AI エージェント、チャットボット、コパイロット、分析ツールを作成できます。このモデルは、わずか 100 個のサンプル (数ショット) を使用して独自のデータに基づいて微調整できます。多くの企業が、リリースから数時間以内に、医療診断アシスタント、法的契約アナライザー、パーソナル コーディングの家庭教師など、Llama 4 を利用した製品をすでに発表しています。未来は開かれています。
⚡ Key Highlights
1 Trillion Parameters – Open‑Source and Free
GPT-5 に匹敵するパフォーマンスを備えた高密度モデル。寛容なオープンソース ライセンス (Llama 3 に似ていますが、使用制限はありません) で利用できます。重み、トレーニング コード、アーキテクチャが完全に公開されています。
89.5% on MMLU – Matches GPT‑5 on Reasoning
MMLU でベンチマーク (数学で 87%、人文科学で 92%、科学で 86%) - GPT-5 (89.7%) とほぼ同等で、Claude 4 (87.1%) を上回りました。
91% on HumanEval – Competitive with GPT‑5 for Coding
Llama 4 コードの HumanEval スコアは 91% pass@1 で、GPT-5 の 92%、Claude 4 の 88% と比較します。 Python、JavaScript、Rust に優れています。
Multilingual Support – 200 Languages
多様な多言語コーパスでトレーニングされ、多くの低リソース言語 (スワヒリ語、タガログ語、ヒンディー語など) で GPT-5 を上回るパフォーマンスを発揮します。
128k Context Window (Expandable to 1M)
長いドキュメント、コードベース、会話を処理します。研究ブランチでは、スライディング ウィンドウ アテンションを介した実験的な 1M コンテキストが利用可能です。
Ultra‑Low Inference Cost – $2/M Tokens (Hosted)
SAAR と量子化 (FP8) により、ホスト型推論は GPT-5 より 7 倍安くなり、セルフホスティングはさらに安くなります (汎用ハードウェアで 100 万トークンあたり 0.50 ドルと推定)。
Customizable and Fine‑Tunable
完全なオープンソースにより、誰でもドメイン固有のタスク (医療、法律、金融) に合わせて自分のデータを微調整できます。これは、クローズド モデルでは利用できない機能です。
Partnerships with Major Cloud Providers
AWS、Azure、GCP、OVH は、簡単な API アクセスを備えたマネージド サービスとして Llama 4 を提供します。開発者は初月無料。
✓Pros
- ✓GPT-5 と同等のパフォーマンスをわずかなコストで実現
- ✓完全にオープンソース – 使用や再配布に制限なし
- ✓超低推論コスト - ホストされるトークン 100 万件あたり 2 ドル、自己ホスト型であればさらに安価
- ✓多言語およびマルチモーダル (テキストのみですが、コードと構造化データを処理します)
- ✓大きなコンテキスト ウィンドウ (128k) で長いドキュメントをサポート
- ✓ドメイン固有のタスクに合わせてカスタマイズおよび微調整可能
- ✓主要なクラウドプロバイダーで簡単にAPIにアクセスできます。
- ✓フロンティア AI を民主化 – サービスが行き届いていない地域でイノベーションを実現
✗Cons
- ✗1 兆個のパラメータにはセルフホスティング用の大量のハードウェアが必要です (少なくとも 8 つの A100 GPU)
- ✗トレーニング データにはバイアスや制限がある可能性があります (ただし、Meta はフィルタリングを実装しています)
- ✗まだマルチモーダルではありません（ネイティブのビジョンやオーディオはありません） – しかし、Meta は 2027 年にマルチモーダル バージョンを示唆しています
- ✗ライセンスには依然として帰属が必要であり、特定の有害なアプリケーションへの使用は禁止されています（拘束力なし）
- ✗コミュニティのサポートとドキュメントは始まったばかりです – 完成するには時間がかかる可能性があります
- ✗オープンソースにより、悪意のある者がモデルを悪用できる – メタは責任ある使用の誓約に依存している
- ✗ホスト型 API の価格は安いものの、大規模な運用では割高になります
- ✗このモデルは GPT-5 ほど安全性が調整されていない可能性があります (憲法に基づく監査はありません)