OpenAI спростовує страхи: складність AI не зросла експоненційно

Нещодавні припущення щодо значного зростання складності AI-моделей, зокрема Astra від OpenAI, викликали занепокоєння стосовно їхньої прозорості та здатності до моніторингу. Однак, головний науковий співробітник OpenAI, Якуб Пачокі, розвіяв ці побоювання, заявивши, що архітектура найновіших моделей не зазнала стрибкоподібного збільшення складності.

Занепокоєння щодо “глибокої рекурентності”

Публікації, зокрема від The Information, натякали на те, що OpenAI тестує технологію “глибокої рекурентності” (recurrent depth). Ця технологія, на відміну від традиційних лінійних архітектур, як-от Transformer (на якій базуються ChatGPT, Claude та Gemini), може ускладнити розуміння процесу прийняття рішень моделями. У той час як стандартні Transformer обробляють інформацію поетапно та можуть візуалізувати свій “ланцюжок думок” (Chain-of-Thought), “глибока рекурентність” передбачає багаторазове використання тих самих шарів мережі для оновлення внутрішнього стану. Це означає, що значна частина обчислень та логіки може залишатися прихованою у внутрішніх станах моделі, роблячи її менш прозорою для дослідників.

Така перспектива викликала бурхливе обговорення в AI-спільноті, оскільки це могло б ускладнити зовнішній моніторинг і, як наслідок, знизити загальну прозорість AI-систем.

Відповідь OpenAI: складність під контролем

Якуб Пачокі опублікував заяву на платформі X (раніше Twitter), щоб прояснити ситуацію. Він наголосив, що його мета — запобігти паніці, яка може виникнути через неточні повідомлення ЗМІ, що нібито AI рухається до стану неможливості моніторингу. Пачокі запевнив, що глибина обчислювального графа найсучасніших моделей OpenAI, включно з Astra, не перевищує GPT-4 більш ніж удвічі. Це означає, що архітектурного стрибка складності, якого побоювалися, не сталося.

“Ми дуже цінуємо цю техніку, оскільки вона дозволяє нам зрозуміти, як моделі узгоджуються з розподілом їхніх тренувальних даних. Я вважаю, що зараз вона досить крихка, і, на жаль, з деяких причин, не пов’язаних зі зміною архітектури, вона рухається в небажаному напрямку. Але ми можемо вжити заходів для її зміцнення, і це одна з ключових цілей наших поточних дослідницьких проєктів”, — зазначив Пачокі.

Моніторинг “ланцюжка думок” залишається пріоритетом

OpenAI підтверджує свою відданість моніторингу “ланцюжка думок” ще з часів розробки перших моделей. Ця техніка є критично важливою для розуміння того, як моделі навчаються та узгоджуються з навчальними даними. Хоча Пачокі визнав, що поточні методи моніторингу є “крихкими” і потребують покращення, він підкреслив, що це завдання є одним із головних пріоритетів дослідницької команди OpenAI.

За словами головного наукового співробітника, проблеми з моніторингом, які спостерігаються, пов’язані не стільки зі змінами в архітектурі, скільки з іншими факторами, які будуть детальніше розглянуті пізніше. Це свідчить про те, що OpenAI активно працює над удосконаленням механізмів контролю та розуміння внутрішніх процесів своїх AI-систем.

Що таке глибина обчислювального графа?

Глибина обчислювального графа (Computation-Graph Depth) є ключовим показником складності архітектури нейронних мереж. Вона вимірює кількість послідовних обчислювальних рівнів, які модель проходить від введення даних до отримання результату. Чим вище це значення, тим більш складною є внутрішня структура моделі та кількість обчислень, які вона виконує.

Отже, заява Якуба Пачокі заспокоює спільноту, підкреслюючи, що OpenAI продовжує розвивати передові AI-моделі, зберігаючи при цьому фокус на їхній контрольованості та прозорості. Додатковий моніторинг та посилення механізмів контролю є невід’ємною частиною поточної дослідницької роботи компанії.

Джерело: https://www.ithome.com/0/997/866.htm