Google, OpenAI, Roblox і Discord створили нову некомерційну організацію, щоб допомогти підвищити безпеку дітей в Інтернеті. Ініціатива Robust Open Online Safety Tools (ROOST) має на меті зробити основні технології безпеки більш доступними для компаній і надати безкоштовні інструменти штучного інтелекту з відкритим вихідним кодом для виявлення, перевірки та повідомлення про матеріали, що містять сексуальне насильство над дітьми.
За словами партнера-засновника ROOST і колишнього генерального директора Google Еріка Шмідта, ініціатива була частково мотивована змінами, які генеративний ШІ вніс в онлайн-середовище, і має на меті задовольнити “критичну потребу в прискоренні інновацій у сфері безпеки дітей в Інтернеті”. Подробиці про інструменти виявлення CSAM небагатослівні, окрім того, що вони використовуватимуть великі мовні моделі ШІ та “уніфікуватимуть” існуючі варіанти роботи з контентом.
“Починаючи з платформи, орієнтованої на захист дітей, спільний підхід ROOST з відкритим вихідним кодом сприятиме інноваціям і зробить основну інфраструктуру більш прозорою, доступною та інклюзивною, з метою створення безпечного інтернету для всіх”, – сказав Шмідт.
Оголошення ROOST з’явилося на тлі величезної регуляторної боротьби за безпеку дітей у соціальних мережах та онлайн-платформах, коли компанії намагаються заспокоїти законодавців за допомогою методів саморегулювання.
Національний центр допомоги зниклим та експлуатованим дітям (NCMEC) повідомляє, що в період з 2022 по 2023 рік кількість підозр на експлуатацію дітей зросла на 12 відсотків. Станом на 2020 рік більше половини американських дітей були користувачами Roblox, і компанію неодноразово критикували за нездатність протидіяти сексуальній експлуатації дітей та поширенню неприйнятного контенту на своїй платформі. Roblox і Discord також фігурували в судовому позові проти соціальних мереж, поданому в 2022 році, в якому стверджувалося, що платформи не змогли перешкодити дорослим обмінюватися повідомленнями з дітьми без нагляду.
Члени-засновники ROOST у різний спосіб надають фінансування та пропонують свої інструменти або експертизу для проєкту. ROOST заявляє, що співпрацює з провідними розробниками фундаментальних моделей ШІ, щоб створити “спільноту практиків” для захисту контенту, яка включатиме надання перевірених наборів даних для навчання ШІ та виявлення прогалин у безпеці.
Ініціатива заявляє, що зробить “інструменти, які вже існують” більш доступними, ефективно поєднуючи різні технології виявлення та звітності від організацій-членів в уніфіковане рішення, яке буде легше впроваджувати іншим компаніям. Нарен Конеру, віце-президент Roblox з інжинірингу, довіри та безпеки, розповів Fast Company, що ROOST може розмістити системи модерації зі штучним інтелектом, які компанії зможуть інтегрувати за допомогою викликів API. Однак є певна неясність щодо того, що саме включатимуть інструменти модерації зі штучним інтелектом ROOST.
Наприклад, Discord заявляє, що її внесок буде ґрунтуватися на крос-платформному проєкті обміну інформацією Lantern, до якого вона приєдналася у 2023 році разом з Meta і Google. Він також може включати оновлену версію моделі штучного інтелекту Roblox для виявлення ненормативної лексики, расизму, булінгу, секстингів та іншого неприйнятного контенту в аудіокліпах, яку компанія планує випустити з відкритим вихідним кодом цього року. Наразі незрозуміло, як саме ці інструменти будуть взаємодіяти з існуючими системами виявлення CSAM першої лінії, такими як інструмент для аналізу зображень PhotoDNA від Microsoft.
Паралельно з участю в ROOST, Discord випустив нову функцію “Ігнорувати”, яка дозволяє користувачам приховувати повідомлення та сповіщення, які вони отримують, не повідомляючи про це людей, яким вони вимкнули звук. “У Discord ми віримо, що безпека є спільним благом”, – сказав головний юридичний директор Discord Клінт Сміт в анонсі ROOST. “Ми прагнемо зробити весь Інтернет, а не лише Discord, кращим і безпечнішим місцем, особливо для молоді”.
За перші чотири роки своєї діяльності ROOST зібрала понад 27 мільйонів доларів США за підтримки благодійних організацій, серед яких Фонд Макговерна, Future of Online Trust and Safety Fund, Фонд Найта та AI Collaborative. Згідно з прес-релізом, організацію ROOST також підтримуватимуть експерти з безпеки дітей, штучного інтелекту, технологій з відкритим вихідним кодом і “протидії насильницькому екстремізму”.
