Character.ai дозволяє користувачам грати в рольові ігри з чат-ботами за мотивами стрілянини в школі

Character.ai знову опинився під пильною увагою через активність на своїй платформі. Видання Futurism опублікувало статтю, в якій детально описується, як на сервісі з’явилися персонажі ШІ, натхненні реальними шкільними стрільцями, що дозволяють користувачам розпитувати їх про події і навіть розігрувати масові розстріли. Деякі з чат-ботів представляють шкільних стрільців, таких як Ерік Гарріс і Ділан Клеболд, як позитивний приклад для наслідування або корисні ресурси для людей, які борються за психічне здоров’я.

Звісно, знайдуться й ті, хто скаже, що немає переконливих доказів того, що перегляд жорстоких відеоігор чи фільмів призводить до того, що люди самі стають жорстокими, а отже, Character.ai нічим не відрізняється від них. Прихильники ШІ іноді стверджують, що цей тип рольових ігор у жанрі фентезі вже зустрічається в куточках інтернету. Futurism поспілкувався з психологом, який стверджує, що чат-боти все ж можуть бути небезпечними для тих, хто, можливо, вже відчуває потяги до насильства.

“Будь-яке заохочення або навіть відсутність втручання – байдужість у відповідь з боку людини або чат-бота – може здатися мовчазним дозволом зробити це”, – сказав психолог Пітер Лангман.

У Character.ai не відповіли на запит Futurism про коментарі. Google, який профінансував стартап на суму понад 2 мільярди доларів, спробував зняти з себе відповідальність, заявивши, що Character.ai є незалежною компанією і що вона не використовує моделі штучного інтелекту стартапу у своїх продуктах.

Історія Futurism документує цілу низку химерних чат-ботів, пов’язаних зі стріляниною в школах, які створені окремими користувачами, а не самою компанією. Один користувач Character.ai створив понад 20 чат-ботів, “майже повністю” змодельованих за мотивами шкільних стрільців. Боти зареєстрували понад 200 000 чатів.

Character.ai технічно забороняє будь-який контент, що пропагує тероризм або насильницький екстремізм, але модерація компанії була, м’яко кажучи, слабкою. Нещодавно вона оголосила про низку змін у своєму сервісі після того, як 14-річний хлопчик покінчив життя самогубством після багатомісячної одержимості персонажем, заснованим на Дейнеріс Таргарієн з “Гри престолів”. Futurism стверджує, що, незважаючи на нові обмеження на акаунти для неповнолітніх, Character.ai дозволив йому зареєструватися як 14-річному і вести дискусії, пов’язані з насильством – ключовими словами, які повинні бути заблоковані на акаунтах неповнолітніх.

З огляду на те, як працює Розділ 230 у Сполучених Штатах, малоймовірно, що Character.ai несе відповідальність за чат-ботів, створених його користувачами. Існує делікатний баланс між дозволом користувачам обговорювати делікатні теми та одночасним захистом від шкідливого контенту. Можна з упевненістю сказати, що чат-боти на тему шкільної стрілянини є проявом безпідставного насильства, а не “освітнім”, як стверджують деякі з їхніх творців у своїх профілях.

Character.ai заявляє про десятки мільйонів користувачів щомісяця, які спілкуються з персонажами, що вдають із себе людей, і можуть стати вашим другом, терапевтом чи коханим. Незліченна кількість історій розповідає про те, як люди покладаються на цих чат-ботів у пошуках спілкування та співчутливого вуха. Минулого року компанія Replika, конкурент Character.ai, видалила можливість вести еротичні розмови зі своїми ботами, але швидко скасувала цей крок після негативної реакції користувачів.

Чат-боти можуть бути корисними для дорослих, щоб підготуватися до складних розмов з людьми в їхньому житті, або ж вони можуть представити нову цікаву форму розповіді історій. Але чат-боти не є справжньою заміною людської взаємодії з різних причин, і не в останню чергу через те, що чат-боти, як правило, погоджуються зі своїми користувачами і можуть бути такими, якими користувач хоче їх бачити. У реальному житті друзі відштовхують один одного і конфліктують. Існує не так багато доказів на користь того, що чат-боти допомагають розвивати соціальні навички.

І навіть якщо чат-боти можуть допомогти впоратися із самотністю, психолог Лангман зазначає, що коли люди знаходять задоволення в спілкуванні з чат-ботами, це час, який вони не витрачають на спроби соціалізації в реальному світі.

“Тож окрім шкідливих наслідків, які це може мати безпосередньо з точки зору заохочення до насильства, це також може заважати їм жити нормальним життям і займатися просоціальною діяльністю, якою вони могли б займатися протягом усіх тих годин, які вони проводять на сайті”, – додав він.

“Коли це настільки захоплююче і викликає залежність, що вони не роблять у своєму житті?” – сказав Лангман. “Якщо це все, що вони роблять, якщо це все, що вони поглинають, вони не зустрічаються з друзями, не ходять на побачення. Вони не займаються спортом, не вступають до театрального гуртка. Вони нічого не роблять”.