Sony встановила новий стандарт етичного штучного інтелекту

Sony AI випустила набір даних, який перевіряє справедливість і упередженість моделей штучного інтелекту. Він називається Fair Human-Centric Image Benchmark (FHIBE, вимовляється як «Фобі»). Компанія описує його як «перший загальнодоступний, глобально різноманітний, заснований на згоді набір даних зображень людей для оцінки упередженості в широкому спектрі завдань комп’ютерного зору». Іншими словами, він перевіряє, наскільки сучасні моделі штучного інтелекту справедливо ставляться до людей. Спойлер: Sony не знайшла жодного набору даних від жодної компанії, який би повністю відповідав її критеріям.

Sony стверджує, що FHIBE може вирішити етичні проблеми та проблеми упередженості в галузі штучного інтелекту. Набір даних включає зображення майже 2000 добровольців з понад 80 країн. Всі їхні зображення були надані за згодою — чого не можна сказати про поширену практику збору великих обсягів веб-даних. Учасники FHIBE можуть видалити свої зображення в будь-який час. Їхні фотографії містять анотації з зазначенням демографічних і фізичних характеристик, факторів навколишнього середовища і навіть налаштувань камери.

Цей інструмент «підтвердив раніше задокументовані упередження» в сучасних моделях штучного інтелекту. Але Sony стверджує, що FHIBE також може надати детальний діагноз факторів, які призвели до цих упереджень. Один із прикладів: деякі моделі мали нижчу точність для людей, які використовують займенники «вона/її/її», а FHIBE виділив більшу варіативність зачісок як фактор, який раніше не брав до уваги.

FHIBE також встановила, що сучасні моделі ШІ підсилюють стереотипи, коли їм задають нейтральні питання про професію респондента. Тестовані моделі були особливо упередженими «щодо певних груп за статевою приналежністю та походженням», описуючи респондентів як працівників секс-індустрії, наркоторговців або злодіїв. А коли їх запитували про те, які злочини скоїла особа, моделі іноді давали «токсичні відповіді з вищою частотою для осіб африканського або азіатського походження, осіб з темнішим кольором шкіри та тих, хто ідентифікує себе як «він/його/його».

Sony AI стверджує, що FHIBE доводить, що етичний, різноманітний і справедливий збір даних є можливим. Цей інструмент тепер доступний для широкої громадськості і з часом буде оновлюватися. Стаття, в якій викладено результати дослідження, була опублікована в журналі Nature у середу.