Результати пошуку новин у ChatGPT “непередбачувані” і часто неточні

За результатами тестування, проведеного дослідниками Центру цифрової журналістики Колумбійського університету, пошуковий інструмент ChatGPT від OpenAI має певні проблеми, коли йдеться про надання правдивих відповідей.

OpenAI запустила інструмент для підписників у жовтні, заявивши, що він може давати “швидкі, своєчасні відповіді з посиланнями на відповідні веб-джерела”. Натомість Futurism звертає увагу на те, що, за словами дослідників, пошук ChatGPT не зміг правильно ідентифікувати цитати зі статей, навіть коли вони надходили від видавців, які домовилися про обмін даними з OpenAI.

Автори попросили ChatGPT визначити джерело “двохсот цитат з двадцяти публікацій”. Сорок з цих цитат були взяті від видавців, які заборонили пошуковому роботу OpenAI доступ до свого сайту. Проте чат-бот все одно впевнено відповідав неправдивою інформацією, рідко визнаючи, що не впевнений у деталях, які надає:

Загалом ChatGPT дав частково або повністю неправильні відповіді у ста п’ятдесяти трьох випадках, хоча лише сім разів визнав, що не зміг точно відповісти на запит. Лише в цих семи відповідях чат-бот використовував уточнюючі слова і фрази на кшталт “здається”, “можливо”, “можливо” або “може”, а також твердження на кшталт “я не зміг знайти точну статтю”.

Автори тесту Tow Center задокументували результати пошуку в ChatGPT, які неправильно віднесли цитату з листа до редакції газети Orlando Sentinel до статті, опублікованої в Time. В іншому прикладі на запит про джерело цитати зі статті New York Times про китів, які перебувають під загрозою зникнення, система видала посилання на інший веб-сайт, який повністю плагіатував цю статтю.

“Неправильне визначення авторства важко вирішити без даних і методології, які приховав Центр буксирування, – заявили в OpenAI в інтерв’ю Columbia Journalism Review, – і це дослідження є нетиповим випробуванням нашого продукту”. Далі компанія пообіцяла “продовжувати покращувати результати пошуку”.