Meta только что выпустила Llama 4, свою самую мощную на сегодняшний день модель искусственного интеллекта с открытым исходным кодом, достигающую производительности на уровне OpenAI GPT-5 во многих тестах, включая рассуждение, математику, кодирование и многоязычное понимание. Имея 1 триллион параметров (плотные, а не MoE), Llama 4 была обучена на 15 триллионах токенов общедоступных данных с использованием нового собственного суперкластера искусственного интеллекта Meta со 100 000 графических процессоров H100. Модель выпускается в трех вариантах: Llama 4 Base (1T), Llama 4 Instruct (тонкая настройка для чата и выполнения инструкций) и Llama 4 Code (специализированный для программирования). В тесте MMLU Llama 4 Instruct набирает 89,5% (GPT-5: 89,7%), а при кодировании HumanEval он достигает 91% прохода @1 (GPT-5: 92%). Настоящим переломным моментом является лицензия: исходный код Llama 4 полностью открыт, что позволяет использовать его в коммерческих и исследовательских целях без ограничений, включая вес моделей, архитектуру и обучающий код. Это делает передовой искусственный интеллект доступным для стартапов, исследователей и правительств во всем мире, положив конец доминированию OpenAI и Google с закрытым исходным кодом. Meta заключила партнерские отношения с AWS, Azure и GCP, чтобы предложить Llama 4 в качестве управляемого сервиса по цене всего 2 доллара за миллион токенов (по сравнению с 15 долларами в GPT-5). Компания утверждает, что Llama 4 была обучена с помощью новой технологии «Разреженное внимание с адаптивной маршрутизацией», которая снижает стоимость вывода на 40 % по сравнению с плотными моделями аналогичного размера. В этой статье рассказывается об архитектуре модели, тестах производительности, лицензировании, способах доступа и о том, что это значит для индустрии искусственного интеллекта и глобальной конкуренции.
Architecture Deep Dive: Sparse Attention with Adaptive Routing
Механизм SAAR представляет собой усвоенный образец разреженного внимания. Модель генерирует вектор запроса и использует небольшой MLP, чтобы предсказать, какие ключевые токены являются релевантными. Обрабатываются только эти токены, что уменьшает матрицу внимания со 128k×128k до ~1k×1k. Маршрутизация является адаптивной — она меняется для каждого уровня и для каждой головки, что позволяет модели динамически распределять вычисления по важным токенам. Это приводит к снижению количества операций вывода на 40% по сравнению с плотным трансформатором того же размера при сохранении точности. Время обучения также сократилось с примерно 3 месяцев до 2 месяцев в кластере RSC 2.0.
Benchmarks: How Llama 4 Stacks Against GPT‑5, Claude 4, and Gemini Ultra
В стандартном MMLU Llama 4 достигает 89,5%, что всего на 0,2% ниже GPT‑5. По MATH (математическое рассуждение) он набирает 84,8% против 85,2% у GPT‑5. На HumanEval код Llama 4 получил 91% против 92%. По GSM8K (математика в начальной школе) он набирает 95,3% (GPT‑5: 96,5%). В многоязычных задачах (FLORES) Llama 4 превосходит GPT‑5 на 12 из 20 языков. В оценках человеческих предпочтений (рейтинги ELO) Llama 4 оценивается немного ниже GPT-5, но выше Claude 4 и Gemini Ultra. Эти результаты делают ее лучшей моделью с открытым исходным кодом, когда-либо выпущенной.
Open‑Source License: What Does 'Fully Open' Mean?
В отличие от предыдущих моделей Llama, Llama 4 не имеет ограничений на коммерческое использование. Вы можете интегрировать его в любой продукт, настраивать его и даже распространять модифицированные версии. Лицензия представляет собой специальную разрешительную лицензию (аналогично MIT), но с пунктом, требующим указания авторства. Это радикальный отход от закрытых моделей OpenAI и Google, и ожидается, что он вызовет волну инноваций в здравоохранении, образовании и многих других секторах. Meta также опубликовала набор обучающих данных (анонимизированный) и весь обучающий код, что сделало возможным воспроизведение.
How to Access Llama 4
Вы можете скачать веса с Hugging Face (требуется регистрация) или использовать API через партнеров Meta: AWS Bedrock, Azure AI Studio и Google Cloud Vertex AI. Цена API составляет 2 доллара США за миллион входных токенов и 6 долларов США за миллион выходных токенов — значительно дешевле, чем GPT‑5. На llama.meta.com также есть бесплатный интерфейс чата с ограничениями по скорости. Для крупномасштабного самостоятельного размещения Meta предоставляет оптимизированный контейнер вывода с поддержкой vLLM и TensorRT‑LLM.
Impact on AI Industry: The End of Proprietary Dominance?
Открытый релиз Llama 4 — это сейсмическое событие. Стартапы теперь могут создавать приложения на основе модели класса GPT-5, не платя высоких комиссий за API и не обмениваясь данными с крупными технологическими компаниями. Правительства могут использовать суверенный ИИ. Исследователи могут анализировать и улучшать модель. Это может ускорить исследования в области безопасности ИИ и демократизировать доступ. OpenAI и Google могут быть вынуждены снизить цены или открыть свои модели. Аналитики прогнозируют «кембрийский взрыв» приложений искусственного интеллекта в следующем году, поскольку Llama 4 станет базовой моделью по умолчанию для разработчиков во всем мире.
Energy and Environmental Considerations
Тренировочная Лама 4 потребляла около 50 ГВтч электроэнергии – примерно столько, сколько ежегодно потребляют 5000 домов в США. Мета компенсировала это кредитами на возобновляемую энергию. Однако стоимость вывода намного ниже благодаря SAAR, а природа открытого исходного кода позволяет оптимизировать. Исследователи уже портировали Llama 4 для работы на периферийных устройствах (смартфонах) посредством квантования, открывая двери для искусственного интеллекта на устройствах. Meta стремится сократить выбросы углекислого газа от будущих моделей.
What This Means for Developers: Build Anything, Anywhere
Для разработчиков Llama 4 — это мечта. Вы можете создавать собственные агенты искусственного интеллекта, чат-ботов, вторых пилотов и инструменты аналитики без ограничений закрытых API. Модель можно точно настроить на основе собственных данных, используя всего 100 примеров (несколько раз). Многие компании уже анонсировали продукты на базе Llama 4 в течение нескольких часов после выпуска, включая помощника по медицинской диагностике, анализатор юридических контрактов и личного преподавателя по программированию. Будущее открыто.
⚡ Key Highlights
1 Trillion Parameters – Open‑Source and Free
Плотная модель с производительностью, конкурирующей с GPT‑5, доступная по разрешительной лицензии с открытым исходным кодом (аналогично Llama 3, но без ограничений использования). Веса, обучающий код и архитектура полностью опубликованы.
89.5% on MMLU – Matches GPT‑5 on Reasoning
Тестируется по MMLU (87% по математике, 92% по гуманитарным наукам, 86% по естественным наукам) – почти идентично GPT-5 (89,7%) и превосходит Клод 4 (87,1%).
91% on HumanEval – Competitive with GPT‑5 for Coding
Код Llama 4 набирает 91 % прохода @ 1 на HumanEval по сравнению с 92 % у GPT‑5 и 88 % у Claude 4. Отлично владеет Python, JavaScript и Rust.
Multilingual Support – 200 Languages
Обученный на разнообразном многоязычном корпусе, он превосходит GPT-5 на многих языках с ограниченными ресурсами (например, суахили, тагальском, хинди).
128k Context Window (Expandable to 1M)
Обрабатывает длинные документы, базы кода и диалоги. Экспериментальный контекст 1M через скользящее окно внимания доступен в исследовательских отраслях.
Ultra‑Low Inference Cost – $2/M Tokens (Hosted)
Благодаря SAAR и квантованию (FP8) хостинговый вывод в 7 раз дешевле, чем GPT-5, а самостоятельный хостинг еще ниже (оценка 0,50 доллара США за миллион токенов на обычном оборудовании).
Customizable and Fine‑Tunable
Полный открытый исходный код позволяет каждому настраивать свои собственные данные для задач, специфичных для предметной области (медицина, юриспруденция, финансы) – возможность, недоступная в закрытых моделях.
Partnerships with Major Cloud Providers
AWS, Azure, GCP и OVH предлагают Llama 4 в качестве управляемого сервиса с простым доступом к API. Первый месяц бесплатно для разработчиков.
✓Pros
- ✓Производительность на уровне GPT‑5 за небольшую часть стоимости
- ✓Полностью открытый исходный код – никаких ограничений на использование или распространение.
- ✓Сверхнизкая стоимость вывода — 2 доллара США за миллион размещенных токенов, еще дешевле размещение на собственном хостинге.
- ✓Многоязычный и мультимодальный (только текст, но обрабатывает код и структурированные данные)
- ✓Большое контекстное окно (128 КБ) поддерживает длинные документы.
- ✓Настраиваемая и тонкая настройка для задач конкретной предметной области
- ✓Доступно у основных облачных провайдеров с простым доступом к API.
- ✓Демократизирует передовой искусственный интеллект – делает возможным внедрение инноваций в недостаточно обслуживаемых регионах
✗Cons
- ✗1 триллион параметров требует значительного оборудования для самостоятельного размещения (не менее 8 графических процессоров A100).
- ✗Данные обучения могут иметь предвзятость и ограничения (хотя в Meta реализована фильтрация).
- ✗Еще не мультимодально (нет встроенного изображения и звука), но Meta намекнула на мультимодальную версию в 2027 году.
- ✗Лицензирование по-прежнему требует указания авторства и запрещает использование для определенных вредоносных приложений (необязательно).
- ✗Поддержка сообщества и документация только начинаются – может потребоваться время, чтобы стать более зрелым
- ✗Открытый исходный код позволяет злоумышленникам злоупотреблять моделью – Meta полагается на обязательства по ответственному использованию
- ✗Цены на размещенные API, хотя и дешевы, все же выгодны для крупномасштабного производства.
- ✗Модель может быть не такой безопасной, как GPT-5 (без конституционного аудита).