Bonsai 2 27B: ШІ-модель з рекордною ефективністю

Штучний інтелект продовжує дивувати своїми можливостями, і нова розробка від лабораторії PrismML – модель Bonsai 2 27B – черговий тому підтвердження. Компанія анонсувала тризначну квантовану версію свого вже відомого ШІ-помічника, яка демонструє вражаючі результати за показниками продуктивності та енергоефективності, випереджаючи навіть попередні версії.

Революційний підхід до оптимізації

Bonsai 2 27B є оновленням моделі Bonsai 27B, яка раніше вже вразила спільноту, досягнувши 95% продуктивності Qwen3.6 27B при значно менших вимогах до пам’яті. Нова версія, побудована на базі Qwen3.8 27B, піднімає планку ще вище. Завдяки тризначній квантизації, модель потребує менше ніж 1/9 пам’яті від базової версії, при цьому демонструючи 98.2% ефективності у всебічних тестах.

Це означає, що Bonsai 2 27B здатна виконувати складні завдання, такі як програмування, робота з довгими текстами, аналіз документів та навіть мультимодальні операції, локально на пристрої користувача. Це дозволяє значно зменшити залежність від хмарних сервісів та прискорити виконання завдань.

Технічні деталі та продуктивність

В основі Bonsai 2 27B лежить техніка FP16 групового масштабування, що забезпечує 1.76 ефективних біта на вагу. Загальний розмір моделі становить лише 5.9 ГБ, що робить її доступною для запуску на широкому спектрі пристроїв. Важливою перевагою є підтримка контекстного вікна розміром 262K, що дозволяє моделі обробляти та аналізувати великі обсяги інформації.

Щодо продуктивності, Bonsai 2 27B демонструє вражаючі показники:

• На NVIDIA GeForce RTX 5090 швидкість генерації токенів сягає 143 TPS.
• На Apple Silicon M5 Max – 46.8 TPS.

Крім того, модель демонструє виняткову енергоефективність. На GeForce RTX 4090 показник становить 0.714 мВт·год / Токен, що на 40% менше, ніж у повноцінної 8-бітної моделі. Це відкриває нові можливості для використання потужних ШІ-рішень на мобільних пристроях та пристроях з обмеженим енергоспоживанням.

Доступність та ліцензування

Bonsai 2 27B є універсальною моделлю. Вона може працювати на графічних процесорах NVIDIA через CUDA, а також на пристроях Apple з використанням MLX. Важливою новиною є те, що PrismML випустила модель з відкритими вагами під ліцензією Apache 2.0. Це означає, що розробники по всьому світу можуть вільно використовувати, модифікувати та розгортати цю потужну модель у своїх проєктах.

Майбутнє локального ШІ

Анонс Bonsai 2 27B є ще одним кроком до децентралізації та доступності потужних технологій штучного інтелекту. Зменшення вимог до ресурсів та підвищення ефективності дозволять інтегрувати ШІ в повсякденні інструменти та процеси, роблячи його ближчим до користувача. PrismML підтверджує свої амбіції стати лідером у цій галузі, пропонуючи інноваційні рішення, які змінюють правила гри.

Джерело: https://www.ithome.com/1/004/072.htm