Вчені підтвердили, что ChatGPT стає все тупішим

Свіже дослідження показало, що на червень 2023 року мовна модель GPT-4, що лежить в основі чат-бота, стала набагато тупішою, ніж та сама модель, але на березень 2023 року. Водночас мовна модель GPT-3.5, навпаки, у більшості завдань стала кращою, хоча і в неї є проблеми.

Дослідники Стенфордського університету ставили чат-боту різні запитання й оцінювали правильність відповідей. Причому йшлося не про якісь абстрактні речі, а про цілком конкретні. Наприклад, ШІ мав відповісти, чи є число 17 077 простим. Щоб краще зрозуміти процес “роздумів” ШІ, а заодно поліпшити результат, чат-бота попросили розписувати свої обчислення крок за кроком. Зазвичай у такому режимі ШІ частіше відповідає правильно.

Однак це не допомогло. Якщо ще в березні модель GPT-4 давала правильну відповідь у 97,6% випадків, то в червні показник впав… до 2,4%! Тобто майже ніколи чат-бот не міг правильно відповісти на запитання. У випадку GPT-3.5 показник, навпаки, зріс із 7,4% до 86,8%.

Погіршилася і генерація коду. Вчені створили набір даних із 50 простими завданнями з LeetCode і виміряли, скільки відповідей GPT-4 виконувалися без будь-яких змін. Березнева версія успішно впоралася з 52% проблем, але при використанні червневої моделі цей показник впав до 10%.

До слова, на зниження “розумових здібностей” ChatGPT останніми тижнями скаржаться і користувачі. При цьому поки незрозуміло, чому так сталося і чи зробить щось компанія OpenAI.