Meta vừa phát hành Llama 4, mô hình AI nguồn mở mạnh mẽ nhất cho đến nay, đạt hiệu suất ngang bằng với GPT‑5 của OpenAI trên nhiều tiêu chuẩn – bao gồm lý luận, toán học, mã hóa và hiểu biết đa ngôn ngữ. Với 1 nghìn tỷ thông số (dày đặc, không phải MoE), Llama 4 đã được đào tạo trên 15 nghìn tỷ mã thông báo dữ liệu có sẵn công khai, sử dụng siêu cụm AI nội bộ mới của Meta với 100.000 GPU H100. Mô hình này có ba loại: Llama 4 Base (1T), Llama 4 Instruct (được tinh chỉnh để trò chuyện và hướng dẫn sau) và Mã Llama 4 (chuyên dùng cho lập trình). Trên MMLU, Llama 4 Instruct đạt điểm 89,5% (GPT‑5: 89,7%) và trên mã hóa HumanEval, nó đạt 91% pass@1 (GPT‑5: 92%). Yếu tố thay đổi cuộc chơi thực sự chính là giấy phép: Llama 4 hoàn toàn là nguồn mở, cho phép sử dụng cho mục đích thương mại và nghiên cứu mà không bị hạn chế, bao gồm trọng lượng mô hình, kiến trúc và mã đào tạo. Điều này làm cho AI biên giới có thể tiếp cận được với các công ty khởi nghiệp, nhà nghiên cứu và chính phủ trên toàn thế giới, chấm dứt sự thống trị nguồn đóng của OpenAI và Google. Meta đã hợp tác với AWS, Azure và GCP để cung cấp Llama 4 dưới dạng dịch vụ được quản lý, với mức giá chỉ 2 USD trên một triệu mã thông báo (so với 15 USD của GPT‑5). Công ty tuyên bố Llama 4 đã được đào tạo với một cuốn tiểu thuyết 'Sự chú ý thưa thớt với Định tuyến thích ứng' giúp giảm 40% chi phí suy luận so với các mô hình dày đặc có kích thước tương tự. Bài viết này đề cập đến kiến trúc mô hình, điểm chuẩn hiệu suất, cấp phép, cách truy cập và ý nghĩa của nó đối với ngành AI và sự cạnh tranh toàn cầu.
Architecture Deep Dive: Sparse Attention with Adaptive Routing
Cơ chế SAAR là một mô hình chú ý thưa thớt đã học được. Mô hình tạo ra một vectơ truy vấn và sử dụng MLP nhỏ để dự đoán mã thông báo chính nào có liên quan. Chỉ những mã thông báo này mới được tham gia, giảm ma trận chú ý từ 128k×128k xuống ~ 1k×1k. Định tuyến có tính thích ứng – nó thay đổi trên mỗi lớp và trên mỗi đầu, cho phép mô hình phân bổ động tính toán cho các mã thông báo quan trọng. Điều này giúp giảm 40% FLOP suy luận so với máy biến áp dày đặc có cùng kích thước, trong khi vẫn duy trì độ chính xác. Thời gian đào tạo cũng giảm từ khoảng 3 tháng xuống còn 2 tháng trên cụm RSC 2.0.
Benchmarks: How Llama 4 Stacks Against GPT‑5, Claude 4, and Gemini Ultra
Trên MMLU tiêu chuẩn, Llama 4 đạt 89,5%, chỉ thấp hơn GPT‑5 0,2%. Về MATH (lý luận toán học), nó đạt 84,8% so với 85,2% của GPT-5. Trên HumanEval, Llama 4 Code đạt 91% so với 92%. Trên GSM8K (toán cấp lớp), nó đạt 95,3% (GPT‑5: 96,5%). Trong các tác vụ đa ngôn ngữ (FLORES), Llama 4 đánh bại GPT‑5 ở 12 trên 20 ngôn ngữ. Trong các đánh giá về sở thích của con người (xếp hạng ELO), Llama 4 được xếp hạng hơi thấp hơn GPT‑5 nhưng cao hơn Claude 4 và Gemini Ultra. Những kết quả này khiến nó trở thành mô hình nguồn mở tốt nhất từng được phát hành.
Open‑Source License: What Does 'Fully Open' Mean?
Không giống như các mẫu Llama trước đây, Llama 4 không có hạn chế sử dụng thương mại. Bạn có thể tích hợp nó vào bất kỳ sản phẩm nào, tinh chỉnh nó và thậm chí phân phối lại các phiên bản đã sửa đổi. Giấy phép là giấy phép cho phép tùy chỉnh (tương tự như MIT) nhưng có điều khoản yêu cầu ghi công. Đây là sự thay đổi căn bản so với OpenAI và các mô hình khép kín của Google, đồng thời được kỳ vọng sẽ tạo ra làn sóng đổi mới trong lĩnh vực chăm sóc sức khỏe, giáo dục và nhiều lĩnh vực khác. Meta cũng đã phát hành tập dữ liệu huấn luyện (ẩn danh) và toàn bộ mã huấn luyện, giúp cho việc tái tạo có thể thực hiện được.
How to Access Llama 4
Bạn có thể tải xuống trọng lượng từ Ôm mặt (yêu cầu đăng ký) hoặc sử dụng API thông qua các đối tác của Meta: AWS Bedrock, Azure AI Studio và Google Cloud Vertex AI. Giá API là 2 USD trên một triệu mã thông báo đầu vào và 6 USD trên một triệu mã thông báo đầu ra – rẻ hơn đáng kể so với GPT‑5. Ngoài ra còn có giao diện trò chuyện miễn phí tại llama.meta.com với giới hạn tỷ lệ. Để tự lưu trữ quy mô lớn, Meta cung cấp vùng chứa suy luận được tối ưu hóa với sự hỗ trợ vLLM và TensorRT‑LLM.
Impact on AI Industry: The End of Proprietary Dominance?
Bản phát hành mở của Llama 4 là một sự kiện địa chấn. Các công ty khởi nghiệp hiện có thể xây dựng ứng dụng dựa trên mô hình lớp GPT-5 mà không phải trả phí API cao hoặc chia sẻ dữ liệu với công nghệ lớn. Chính phủ có thể triển khai AI có chủ quyền. Các nhà nghiên cứu có thể phân tích và cải thiện mô hình. Điều này có thể đẩy nhanh nghiên cứu về an toàn AI và dân chủ hóa quyền truy cập. OpenAI và Google có thể buộc phải giảm giá hoặc mở cửa các mô hình của họ. Các nhà phân tích dự đoán về 'sự bùng nổ kỷ Cambri' của các ứng dụng AI trong năm tới, khi Llama 4 trở thành mô hình nền tảng mặc định cho các nhà phát triển trên toàn thế giới.
Energy and Environmental Considerations
Training Llama 4 tiêu thụ khoảng 50 GWh điện – tương đương mức tiêu thụ hàng năm của 5.000 ngôi nhà ở Mỹ. Meta đã bù đắp điều này bằng các khoản tín dụng năng lượng tái tạo. Tuy nhiên, chi phí suy luận thấp hơn nhiều nhờ SAAR và bản chất nguồn mở cho phép tối ưu hóa. Các nhà nghiên cứu đã chuyển Llama 4 để chạy trên các thiết bị biên (điện thoại thông minh) thông qua lượng tử hóa, mở ra cánh cửa cho AI trên thiết bị. Meta cam kết giảm lượng khí thải carbon của các mẫu xe trong tương lai.
What This Means for Developers: Build Anything, Anywhere
Đối với các nhà phát triển, Llama 4 là một giấc mơ. Bạn có thể tạo các tác nhân AI, chatbot, phi công phụ và công cụ phân tích tùy chỉnh mà không bị ràng buộc bởi các API đóng. Mô hình có thể được tinh chỉnh trên dữ liệu độc quyền chỉ với 100 ví dụ (vài lần chụp). Nhiều công ty đã công bố các sản phẩm hỗ trợ Llama 4 trong vòng vài giờ sau khi phát hành, bao gồm trợ lý chẩn đoán y tế, máy phân tích hợp đồng pháp lý và gia sư viết mã cá nhân. Tương lai đang rộng mở.
⚡ Key Highlights
1 Trillion Parameters – Open‑Source and Free
Mô hình dày đặc với hiệu suất sánh ngang với GPT‑5, có sẵn theo giấy phép nguồn mở dễ dàng (tương tự như Llama 3 nhưng không có hạn chế sử dụng). Trọng lượng, mã đào tạo và kiến trúc được công bố đầy đủ.
89.5% on MMLU – Matches GPT‑5 on Reasoning
Điểm chuẩn trên MMLU (87% về toán, 92% về nhân văn, 86% về khoa học) – gần giống với GPT‑5 (89,7%) và vượt qua Claude 4 (87,1%).
91% on HumanEval – Competitive with GPT‑5 for Coding
Mã Llama 4 đạt 91% pass@1 trên HumanEval, so với 92% của GPT‑5 và 88% của Claude 4. Vượt trội về Python, JavaScript và Rust.
Multilingual Support – 200 Languages
Được đào tạo trên kho ngữ liệu đa ngôn ngữ, hoạt động tốt hơn GPT-5 trên nhiều ngôn ngữ có nguồn tài nguyên thấp (ví dụ: tiếng Swahili, tiếng Tagalog, tiếng Hindi).
128k Context Window (Expandable to 1M)
Xử lý các tài liệu dài, cơ sở mã và các cuộc hội thoại. Bối cảnh thử nghiệm 1M thông qua sự chú ý của cửa sổ trượt có sẵn trong các nhánh nghiên cứu.
Ultra‑Low Inference Cost – $2/M Tokens (Hosted)
Do SAAR và lượng tử hóa (FP8), suy luận được lưu trữ rẻ hơn 7 lần so với GPT‑5 và việc tự lưu trữ thậm chí còn thấp hơn (ước tính 0,50 USD/triệu mã thông báo trên phần cứng hàng hóa).
Customizable and Fine‑Tunable
Nguồn mở hoàn toàn cho phép mọi người tinh chỉnh dữ liệu của riêng họ cho các nhiệm vụ theo miền cụ thể (y tế, pháp lý, tài chính) – một khả năng không có sẵn trong các mô hình đóng.
Partnerships with Major Cloud Providers
AWS, Azure, GCP và OVH cung cấp Llama 4 dưới dạng dịch vụ được quản lý với khả năng truy cập API dễ dàng. Tháng đầu tiên miễn phí cho nhà phát triển.
✓Pros
- ✓Hiệu suất ngang bằng với GPT-5 với chi phí thấp hơn
- ✓Nguồn mở hoàn toàn – không hạn chế sử dụng hoặc phân phối lại
- ✓Chi phí suy luận cực thấp – 2 USD/triệu token được lưu trữ, thậm chí tự lưu trữ còn rẻ hơn
- ✓Đa ngôn ngữ và đa phương thức (chỉ văn bản nhưng xử lý mã và dữ liệu có cấu trúc)
- ✓Cửa sổ ngữ cảnh lớn (128k) hỗ trợ các tài liệu dài
- ✓Có thể tùy chỉnh và tinh chỉnh cho các tác vụ theo miền cụ thể
- ✓Có sẵn trên các nhà cung cấp đám mây lớn với khả năng truy cập API dễ dàng
- ✓Dân chủ hóa AI biên giới – cho phép đổi mới ở các khu vực chưa được quan tâm
✗Cons
- ✗1 nghìn tỷ tham số yêu cầu phần cứng đáng kể để tự lưu trữ (ít nhất 8 GPU A100)
- ✗Dữ liệu đào tạo có thể có những sai lệch và hạn chế (mặc dù Meta đã triển khai tính năng lọc)
- ✗Chưa phải là đa phương thức (không có hình ảnh hoặc âm thanh gốc) – nhưng Meta đã gợi ý về một phiên bản đa phương thức vào năm 2027
- ✗Việc cấp phép vẫn yêu cầu ghi công và cấm sử dụng cho một số ứng dụng có hại (không ràng buộc)
- ✗Hỗ trợ cộng đồng và tài liệu chỉ mới bắt đầu - có thể mất thời gian để trưởng thành
- ✗Nguồn mở cho phép kẻ xấu lạm dụng mô hình – Meta dựa vào các cam kết sử dụng có trách nhiệm
- ✗Giá API được lưu trữ, mặc dù rẻ nhưng vẫn tăng thêm cho hoạt động sản xuất quy mô lớn
- ✗Mô hình này có thể không đảm bảo an toàn như GPT-5 (không có kiểm toán dựa trên hiến pháp)