Милий, балакучий плюшевий ведмедик, призначений для навчання малюків, опинився в центрі скандалу, пов’язаного з безпекою штучного інтелекту. Соціальні мережі вже прозвали його «ChuckyGPT», і цього разу інтернет не перебільшує — іграшка була спіймана на тому, що давала дітям поради, які жоден батько не хотів би почути від плюшевого звірятка.
Іграшка під назвою Kumma вироблена китайським виробником FoloToy і використовує GPT-4o від OpenAI для спілкування з дітьми. Це звучить досить невинно, але нове розслідування, проведене американською групою споживачів PIRG для свого щорічного звіту «Проблеми в країні іграшок», виявило деякі дійсно тривожні моменти.
Коли тестувальники запитали ведмедя про те, як запалювати сірники, він, за повідомленнями, відповів покроковими інструкціями. Він також відповідав на питання сексуального характеру, практично не фільтруючи їх. Крім того, PIRG висловила занепокоєння з приводу постійно увімкненого мікрофона іграшки, припустивши, що записи дитячих голосів можуть бути використані не за призначенням — навіть для таких речей, як шахрайство з використанням голосу.
Як тільки ці висновки почали поширюватися, особливо на Reddit, користувачі відразу ж назвали іграшку «ChuckyGPT», порівнявши ситуацію з сюжетом низькобюджетного фільму жахів. Інші припустили, що небезпечні відповіді могли бути результатом зламаних підказок, хоча підтвердження цьому немає.
OpenAI швидко відреагувала. Представник компанії повідомив PIRG, що компанія призупинила діяльність розробника Kumma за порушення політики, фактично відрізавши іграшку від доступу до API OpenAI.
Потім FoloToy оголосила про призупинення всіх продажів продукції на час проведення повної перевірки безпеки. «У зв’язку з побоюваннями, висловленими у вашому звіті, ми тимчасово призупинили продаж усіх продуктів FoloToy», — йдеться в заяві компанії. Ведмідь Kumma як і раніше вказаний на веб-сайті компанії, але тепер з позначкою «розпроданий».
Весь цей інцидент підкреслює, наскільки ризикованим може бути впровадження потужних мовних моделей у продукти, призначені для дуже маленьких дітей, без суворих заходів безпеки. Те, що мало бути милим компаньйоном зі штучним інтелектом, в кінцевому підсумку стало ще одним попереджувальним знаком у гонці за впровадженням штучного інтелекту в усе підряд — навіть у м’які іграшки.
