Meta는 최근 가장 강력한 오픈 소스 AI 모델인 Llama 4를 출시하여 추론, 수학, 코딩 및 다국어 이해를 포함한 여러 벤치마크에서 OpenAI의 GPT‑5와 동등한 성능을 달성했습니다. 1조 매개변수(MoE가 아닌 밀도)를 갖춘 Llama 4는 100,000개의 H100 GPU가 포함된 Meta의 새로운 사내 AI 슈퍼 클러스터를 사용하여 공개적으로 사용 가능한 15조 토큰 토큰에 대해 교육을 받았습니다. 이 모델은 Llama 4 Base(1T), Llama 4 Instruct(채팅 및 지시 따르기에 맞게 미세 조정됨), Llama 4 Code(프로그래밍에 특화됨)의 세 가지 버전으로 제공됩니다. MMLU에서 Llama 4 Instruct 점수는 89.5%(GPT‑5: 89.7%)이고 HumanEval 코딩에서는 91% pass@1(GPT‑5: 92%)를 달성했습니다. 진정한 판도를 바꾸는 것은 라이선스입니다. Llama 4는 완전 오픈 소스이므로 모델 가중치, 아키텍처, 훈련 코드를 포함하여 제한 없이 상업용 및 연구용으로 사용할 수 있습니다. 이를 통해 전 세계 스타트업, 연구원 및 정부가 최첨단 AI에 액세스할 수 있게 되어 OpenAI와 Google의 비공개 소스 지배력이 종식됩니다. Meta는 AWS, Azure 및 GCP와 제휴하여 Llama 4를 관리형 서비스로 제공하며 가격은 백만 토큰당 2달러(GPT-5의 15달러에 비해)입니다. 회사는 Llama 4가 유사한 크기의 밀집 모델에 비해 추론 비용을 40% 절감하는 새로운 '적응형 라우팅을 통한 희소 주의'로 훈련되었다고 주장합니다. 이 기사에서는 모델 아키텍처, 성능 벤치마크, 라이선스, 액세스 방법, AI 산업 및 글로벌 경쟁에 대한 의미를 다룹니다.
Architecture Deep Dive: Sparse Attention with Adaptive Routing
SAAR 메커니즘은 학습된 희소 주의 패턴입니다. 모델은 쿼리 벡터를 생성하고 작은 MLP를 사용하여 어떤 키 토큰이 관련되어 있는지 예측합니다. 이러한 토큰만 주의를 기울여 주의 매트릭스를 128k×128k에서 ~1k×1k로 줄입니다. 라우팅은 적응형입니다. 레이어별로, 헤드별로 변경되므로 모델이 컴퓨팅을 중요한 토큰에 동적으로 할당할 수 있습니다. 그 결과 동일한 크기의 고밀도 변압기에 비해 추론 FLOP가 40% 감소하는 동시에 정확도가 유지됩니다. RSC 2.0 클러스터에서는 훈련 시간도 약 3개월에서 2개월로 단축되었습니다.
Benchmarks: How Llama 4 Stacks Against GPT‑5, Claude 4, and Gemini Ultra
표준 MMLU에서 Llama 4는 GPT‑5보다 단 0.2% 낮은 89.5%를 달성합니다. MATH(수학적 추론)에서는 GPT‑5의 85.2%에 비해 84.8%를 기록했습니다. HumanEval에서 Llama 4 코드는 91% 대 92%를 얻었습니다. GSM8K(초등학교 수학)에서는 95.3%(GPT‑5: 96.5%)를 기록했습니다. 다국어 작업(FLORES)에서 Llama 4는 20개 언어 중 12개 언어에서 GPT‑5를 능가합니다. 인간 선호도 평가(ELO 등급)에서 Llama 4는 GPT‑5보다 약간 낮은 등급이지만 Claude 4 및 Gemini Ultra보다 높은 등급을 받았습니다. 이러한 결과는 지금까지 출시된 최고의 오픈 소스 모델이 되었습니다.
Open‑Source License: What Does 'Fully Open' Mean?
이전 Llama 모델과 달리 Llama 4에는 상업적 사용 제한이 없습니다. 이를 모든 제품에 통합하고 미세 조정하고 수정된 버전을 재배포할 수도 있습니다. 라이선스는 맞춤형 허용 라이선스(MIT와 유사)이지만 귀속을 요구하는 조항이 있습니다. 이는 OpenAI와 Google의 폐쇄형 모델에서 획기적인 변화이며 의료, 교육 및 기타 여러 분야에서 혁신의 물결을 촉발할 것으로 예상됩니다. Meta는 또한 훈련 데이터 세트(익명화)와 전체 훈련 코드를 공개하여 복제가 가능하도록 했습니다.
How to Access Llama 4
Hugging Face에서 가중치를 다운로드하거나(등록 필요) Meta의 파트너인 AWS Bedrock, Azure AI Studio 및 Google Cloud Vertex AI를 통해 API를 사용할 수 있습니다. API 가격은 입력 토큰 백만 개당 2달러, 출력 토큰 백만 개당 6달러로 GPT-5보다 훨씬 저렴합니다. llama.meta.com에는 속도 제한이 있는 무료 채팅 인터페이스도 있습니다. 대규모 자체 호스팅을 위해 Meta는 vLLM 및 TensorRT‑LLM을 지원하는 최적화된 추론 컨테이너를 제공합니다.
Impact on AI Industry: The End of Proprietary Dominance?
Llama 4의 공개 출시는 엄청난 사건입니다. 이제 스타트업은 높은 API 비용을 지불하거나 대형 기술과 데이터를 공유하지 않고도 GPT‑5 클래스 모델을 기반으로 애플리케이션을 구축할 수 있습니다. 정부는 주권 AI를 배포할 수 있습니다. 연구자들은 모델을 분석하고 개선할 수 있습니다. 이를 통해 AI 안전 연구를 가속화하고 접근을 민주화할 수 있습니다. OpenAI와 Google은 가격을 낮추거나 모델을 공개해야 할 수도 있습니다. 분석가들은 Llama 4가 전 세계 개발자들을 위한 기본 기반 모델이 되면서 내년에 AI 애플리케이션이 '캄브리아기 폭발'할 것이라고 예측합니다.
Energy and Environmental Considerations
Training Llama 4는 약 50GWh의 전력을 소비했습니다. 이는 미국 5,000가구의 연간 소비량에 해당합니다. Meta는 재생에너지 크레딧으로 이를 상쇄했습니다. 그러나 SAAR로 인해 추론 비용이 훨씬 저렴하고 오픈 소스 특성으로 인해 최적화가 가능합니다. 연구원들은 이미 양자화를 통해 에지 장치(스마트폰)에서 실행되도록 Llama 4를 포팅하여 온디바이스 AI의 문을 열었습니다. Meta는 미래 모델의 탄소 배출량을 줄이기 위해 최선을 다하고 있습니다.
What This Means for Developers: Build Anything, Anywhere
개발자에게 Llama 4는 꿈입니다. 폐쇄형 API의 제약 없이 맞춤형 AI 에이전트, 챗봇, 부조종사, 분석 도구를 생성할 수 있습니다. 단 100개의 예시(몇 개 샷)만 사용하여 독점 데이터를 바탕으로 모델을 미세 조정할 수 있습니다. 이미 출시 후 몇 시간 내에 의료 진단 보조자, 법적 계약 분석기, 개인 코딩 교사 등 Llama 4 기반 제품을 발표한 회사가 많습니다. 미래는 열려있습니다.
⚡ Key Highlights
1 Trillion Parameters – Open‑Source and Free
GPT‑5에 필적하는 성능을 갖춘 고밀도 모델로, 허용된 오픈 소스 라이선스에 따라 사용할 수 있습니다(Llama 3와 유사하지만 사용 제한 없음). 가중치, 학습 코드 및 아키텍처가 완전히 게시되었습니다.
89.5% on MMLU – Matches GPT‑5 on Reasoning
MMLU 벤치마크(수학 87%, 인문학 92%, 과학 86%) – GPT‑5(89.7%)와 거의 동일하며 Claude 4(87.1%)를 능가합니다.
91% on HumanEval – Competitive with GPT‑5 for Coding
Llama 4 코드는 GPT‑5의 92% 및 Claude 4의 88%와 비교하여 HumanEval에서 91% pass@1을 기록했습니다. Python, JavaScript 및 Rust에서 탁월합니다.
Multilingual Support – 200 Languages
다양한 다국어 자료로 교육을 받았으며 자원이 부족한 여러 언어(예: 스와힐리어, 타갈로그어, 힌디어)에서 GPT‑5보다 성능이 뛰어납니다.
128k Context Window (Expandable to 1M)
긴 문서, 코드베이스 및 대화를 처리합니다. 연구 분야에서는 슬라이딩 윈도우 어텐션을 통한 실험적인 1M 컨텍스트를 사용할 수 있습니다.
Ultra‑Low Inference Cost – $2/M Tokens (Hosted)
SAAR 및 양자화(FP8) 덕분에 호스팅 추론은 GPT-5보다 7배 저렴하며 자체 호스팅은 훨씬 더 낮습니다(상용 하드웨어에서 토큰 백만 개당 $0.50로 추정).
Customizable and Fine‑Tunable
완전한 오픈 소스를 사용하면 누구나 도메인별 작업(의료, 법률, 금융)을 위해 자신의 데이터를 미세 조정할 수 있습니다. 이는 폐쇄형 모델에서는 사용할 수 없는 기능입니다.
Partnerships with Major Cloud Providers
AWS, Azure, GCP 및 OVH는 Llama 4를 API에 쉽게 액세스할 수 있는 관리형 서비스로 제공합니다. 개발자에게는 첫 달 무료입니다.
✓Pros
- ✓적은 비용으로 GPT‑5와 동등한 성능
- ✓완전 오픈 소스 - 사용 또는 재배포에 대한 제한이 없습니다.
- ✓매우 낮은 추론 비용 – 호스팅되는 토큰 백만 개당 2달러, 자체 호스팅되는 경우 훨씬 더 저렴함
- ✓다국어 및 다중 모드(텍스트만 가능하지만 코드 및 구조화된 데이터 처리)
- ✓큰 컨텍스트 창(128k)은 긴 문서를 지원합니다.
- ✓도메인별 작업을 위한 사용자 정의 및 미세 조정 가능
- ✓API에 쉽게 액세스할 수 있는 주요 클라우드 제공업체에서 사용 가능
- ✓최첨단 AI 민주화 – 서비스가 부족한 지역에서 혁신 가능
✗Cons
- ✗1조 개의 매개변수에는 자체 호스팅을 위한 상당한 하드웨어가 필요합니다(최소 8개의 A100 GPU)
- ✗훈련 데이터에는 편향과 한계가 있을 수 있습니다(Meta는 필터링을 구현했지만).
- ✗아직 다중 모드는 아닙니다(네이티브 비전이나 오디오 없음). 그러나 Meta는 2027년에 다중 모드 버전을 암시했습니다.
- ✗라이선스에는 여전히 저작자 표시가 필요하며 특정 유해 애플리케이션에 대한 사용이 금지됩니다(구속력 없음).
- ✗커뮤니티 지원 및 문서화는 이제 막 시작되었습니다. 성숙해지는 데 시간이 걸릴 수 있습니다.
- ✗오픈 소스를 사용하면 악의적인 행위자가 모델을 오용할 수 있습니다. Meta는 책임 있는 사용 서약에 의존합니다.
- ✗호스팅된 API 가격은 저렴하지만 대규모 생산에는 여전히 합산됩니다.
- ✗모델은 GPT-5만큼 안전에 부합하지 않을 수 있습니다(헌법 기반 감사 없음).