Meta оголосила про випуск Llama 4, найновішої колекції моделей штучного інтелекту, які тепер працюють в якості асистента Meta AI в Інтернеті, а також у WhatsApp, Messenger та Instagram. Дві нові моделі, які також можна завантажити з сайту Meta або Hugging Face, – це Llama 4 Scout – невелика модель, здатна “поміститися в одному графічному процесорі Nvidia H100”, і Llama 4 Maverick, яка більше схожа на GPT-4o і Gemini 2.0 Flash. Meta заявляє, що все ще перебуває в процесі підготовки Llama 4 Behemoth, який, за словами генерального директора Meta Марка Цукерберга, є “найпродуктивнішою базовою моделлю в світі”.
За словами Meta, Llama 4 Scout має контекстне вікно на 10 мільйонів токенів – робочу пам’ять моделі ШІ – і перевершує моделі Gemma 3 і Gemini 2.0 Flash-Lite від Google, а також Mistral 3.1 з відкритим вихідним кодом “у широкому діапазоні широко відомих тестів”, при цьому “вміщуючись на одному графічному процесорі Nvidia H100”. Meta робить аналогічні заяви про продуктивність своєї більшої моделі Maverick у порівнянні з GPT-4o від OpenAI та Gemini 2.0 Flash від Google, і каже, що її результати можна порівняти з DeepSeek-V3 у завданнях кодування та міркувань з використанням “менш ніж половини активних параметрів”.
Тим часом, Llama 4 Behemoth має 288 мільярдів активних параметрів з 2 трильйонами параметрів загалом. Хоча він ще не випущений, Meta стверджує, що Behemoth може перевершити своїх конкурентів (в даному випадку GPT-4.5 і Claude Sonnet 3.7) “за кількома STEM-бенчмарками”.
Для Llama 4, за словами Meta, вони перейшли на архітектуру “суміші експертів” (MoE) – підхід, який дозволяє економити ресурси, використовуючи лише ті частини моделі, які потрібні для виконання конкретного завдання. Компанія планує обговорити майбутні плани щодо моделей і продуктів ШІ на конференції LlamaCon, яка відбудеться 29 квітня.
Як і у випадку з попередніми моделями, Meta називає колекцію Llama 4 “з відкритим вихідним кодом”, хоча Llama критикують за ліцензійні обмеження. Наприклад, ліцензія Llama 4 вимагає від комерційних організацій з понад 700 мільйонами активних користувачів щомісяця запитувати дозвіл у Meta перед використанням її моделей, що, як писала Open Source Initiative у 2023 році, виводить її “з категорії “відкритого вихідного коду”.
