Програмісти ChatGPT дають неправильні відповіді у понад 50% випадків

Нещодавнє дослідження, проведене Університетом Пердью в США, пролило світло на проблему, пов’язану з точністю відповідей ChatGPT на запитання з програмування. Результати дослідження показали, що більше половини відповідей ChatGPT були неправильними, а його розвинені мовні здібності змогли ввести в оману значну частину учасників.

Чому покладатися на ChatGPT може бути контрпродуктивно

Дослідницька група вивчила 517 питань з програмування, взятих з Stack Overflow, і оцінила різні аспекти відповідей ChatGPT, включаючи правильність, послідовність, повноту і лаконічність. Результати оцінки виявилися невтішними, оскільки було виявлено, що 52% наданих відповідей були неточними, а значні 77% були невиправдано довгими. Ще більше занепокоєння викликало спостереження, що красномовний і методичний стиль мови ШІ часто збивав учасників з пантелику. Лише в тих випадках, коли помилки були очевидними, учасники змогли виявити неточності.

Незважаючи на неправильні відповіді, майже 40% учасників віддали перевагу відповідям ChatGPT. Однак значні 77% з тих відповідей, яким надали перевагу, виявилися невірними. Дослідники, серед яких Самія Кабір, Девід Удо-Імех, Бонан Коу та доцент Тіані Чжан, пояснили, що багато помилок пов’язані з нездатністю ChatGPT вловити контекстуальні нюанси запитань.

Ці висновки є переконливим аргументом на користь того, що сучасний генеративний ШІ в його нинішньому стані не може бути придатним інструментом для допомоги у створенні коду і навіть може мати контрпродуктивні ефекти. Визнаючи цю реальність, різні технологічні гіганти, такі як Google, Apple, Amazon і Samsung, випустили попередження або наклали заборону на використання генеративного ШІ для підказок коду.

Згідно з повідомленнями, OpenAI працює над наступною ітерацією GPT GPT-5, яка, як очікується, вирішить ці помилки. Очікується зменшення кількості галюцинацій, покращення мультимодальності з текстом, зображеннями, відео та аудіо, підвищення обчислювальної ефективності, пам’яті та контекстного розуміння. GPT-5 може уможливити більш детальну взаємодію, розширити сферу застосування і запропонувати більшу кількість параметрів для більш потужного створення контенту ШІ.