![](http://expert.com.ua/wp-content/uploads/2025/01/giganet_banner-900x90-2.png")
Часто під час взаємодії із глобальними штучним інтелектом користувачі отримують відповіді з русизмами, перекрученою граматикою чи навіть спотвореними фактами про Україну. Раніше вітчизняний бізнес та розробники обирали великі мовні моделі (LLM) «наосліп», спираючись виключно на маркетингові матеріали корпорацій та англомовні бенчмарки, де українська мова оцінювалася через машинний переклад.
Щоб змінити цю ситуацію, Центр компетенцій WINWIN AI при Міністерстві цифрової трансформації України спільно з Українським католицьким університетом (УКУ) та ініціативою lang-uk запустили Ukrainian LLM Leaderboard — перший національний відкритий рейтинг, що об’єктивно вимірює рівень володіння українською мовою у різних нейромережах.
Рейтинг оцінює здатність алгоритмів виконувати різнопланові завдання українською мовою в умовах, наближених до реального використання в B2B- та B2G-секторах:
- Аналіз та обробка текстів: якість перекладу, резюмування (сумаризація) та стислий виклад великих масивів документів;
- Логіка та розшук даних: пошук відповідей у документах (RAG-системи) та розв’язання логічних задач;
- Оцінка знань: проходження тестових завдань зі шкільної програми на рівні ЗНО/НМТ;
- Складні обчислення: виконання математичних розрахунків та чітке дотримання багатоетапних інструкцій.
Методологію тестування розробили дослідники Юрій Панів (УКУ, керівник розробки української мовної моделі Lapa) та Дмитро Чаплинський (спільнота lang-uk). Напрацьовані підходи вже пройшли апробацію під час навчання моделі Lapa LLM і були презентовані на міжнародних наукових конференціях з NLP (обробки природної мови).
Усі вихідні дані, тестові датасети та код методології є повністю відкритими й опублікованими на платформі HuggingFace.
Специфікація та перспективи розвитку лідерборду
| Параметр / Напрям | Характеристики Ukrainian LLM Leaderboard |
| Організатори | WINWIN AI Center of Excellence при Мінцифрі, УКУ, lang-uk |
| Відкритість даних | Публікація тестів, методології та коду на HuggingFace |
| Практична цінність | Об’єктивна база для держзакупівель, вибір ШІ для банкінгу та бізнесу |
| Майбутні модулі | Оцінка мультимодальності (візуальний контент), етичність, вартість токенів |
| Фокус на B2G | Перевірка безпеки персональних даних та обробки нормативних актів |
Коментарі ініціаторів проєкту
Юрій Панів, аспірант УКУ та керівник розробки мовної моделі Lapa:«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять. Метою створення українського лідерборду було дати відповідь на ці питання, зібравши наявні бенчмарки від спільноти українського NLP та створивши нові».
Роман Кислий, Chief AI Officer у WINWIN AI Center of Excellence:«Неможливо керувати процесами, які ти не вимірюєш. Ми вбудовуємо штучний інтелект у сервіси для мільйонів людей — і маємо ухвалювати рішення виключно на основі доказів, а не обіцянок. Лідерборд робить якість української мови в моделях публічним і доведеним фактом».
HiTech Expert Take
Запуск Ukrainian LLM Leaderboard — це важливий інституційний крок для забезпечення цифрового суверенітету України. Наявність прозорого відкритого бенчмарку дозволить уникнути інтеграції слабких або упереджених ШІ-моделей у державні послуги, банківські застосунки та корпоративні CRM-системи. Крім того, створення власного рейтингу стимулюватиме світові техгіганти (OpenAI, Google, Anthropic) більш ретельно тренувати свої майбутні LLM на високоякісних українських датасетах.
Стежте за найсвіжішими новинами, оглядами штучного інтелекту, рейтингами мовних моделей та розробками в галузі NLP у профільному розділі IT на HiTech Expert:
