НовиниЧат-бот Character AI звинуватили в доведенні до самогубства й ініціюванні сексуалізованих розмов

У США проти чат-бота Character AI подали позов, у якому платформу звинуватили в маніпулюванні вразливими неповнолітніми, ініціюванні сексуалізованих розмов і доведенні до самогубства.

Про це пише CBS.

Позов подали батьки 13-річної Джуліани Перальти, що скоїла самогубство після того, як, за словами її батьків, у неї сформувалася залежність від Character AI. Окрім самої платформи, відповідачами є її засновники – Шазір і Де Фріетас – і Google.

Позивачі стверджують, що компанія Character Technologies, розробник Character AI, «свідомо створила й рекламувала чат-боти, які заохочували сексуалізовані розмови та маніпулювали вразливими неповнолітніми».

Батьки померлої підлітки зазначають, що уважно стежили за життям доньки в інтернеті й поза ним, але ніколи не чули про застосунок. 

«Я була впевнена, що вона переписується з друзями, бо це так і виглядає. Наче звичайні повідомлення», – сказала Синтія Монтойя, мати підлітки.

Після самогубства Джуліани поліція знайшла в її телефоні «романтичне» листування на платформі чат-ботів. Переглянувши історію чатів, батьки підлітки виявили, що боти надсилали їй шкідливий, сексуально відвертий контент.

Зазначають, що Джуліана спілкувалася з ботом Hero, створеним на основі популярного персонажа відеогри. Журналісти 60 Minutes переглянули понад 300 сторінок листування Джуліани з Hero. Спершу йшлося про конфлікти з друзями чи складні уроки, але згодом підлітка 55 разів зізнавалася Hero, що має суїцидальні думки.

Мати Джуліани також стверджує, нібито Character AI був запрограмований так, щоб викликати залежність у дітей.

«[Підлітки й діти] не мають шансів, у порівнянні з дорослими програмістами. Жодного шансу. У 10–20 чат-ботах, з якими Джуліана вела сексуально відверті розмови, жодна ініціатива не виходила від неї. Жодного разу», – наголосила вона.

Батько підлітки додав, що батьки «мають певний рівень довіри» до компаній, які випускають застосунки «для дітей»: «Ця довіра означає, що моя дитина в безпеці, що продукт протестований, що її не змусять до неприйнятних, темних чи потенційно суїцидальних розмов», – сказав він.

У своїй заяві Google наголосила, що «Character AI – це окрема компанія, яка самостійно розробляє й управляє своїми моделями. Google зосереджується на власних платформах, де ми наполягаємо на інтенсивному тестуванні й процесах безпеки».

Character AI відмовилися від коментарів. У заяві представник компанії сказав: «Ми щиро співчуваємо сім’ям, які беруть участь у процесі… ми завжди ставили безпеку користувачів на перше місце».

У жовтні Character AI оголосили про нові заходи безпеки: допомогу в разі страждань і заборону спілкування персонажів із користувачами до 18 років у форматі повноцінного діалогу.

Проте журналісти 60 Minutes з’ясували, що на платформі легко збрехати про свій вік та отримати доступ до її дорослої версії, яка досі дозволяє повні діалоги. Коли репортери написали боту, що хочуть померти, система дала посилання на ресурси з ментального здоров’я, але його можна було просто закрити й продовжити листування, висловлюючи тугу та дистрес.

Дослідниці з організації Parents Together Шелбі Нокс та Аманда Клоер вивчали Character AI упродовж шести тижнів і провели 50 годин у чатах, видаючи себе за дітей і підлітків. Вони виявили, що платформа не вимагала жодних батьківських дозволів чи перевірок віку.

У своєму попередньому дослідженні до введення нових обмежень вони також зафіксували понад 600 випадків шкоди, тобто чат-боти вчиняли протиправні дії що п’ять хвилин.

Вони спілкувалися з чат-ботами в ролях учителів, терапевтів, персонажів мультфільмів, включно зі злим варіантом Дори-мандрівниці. Цей бот закликав дослідницю, що видавала себе за дитину, «стати своєю найзлішою та найщирішою версією».

Інші чат-боти були «гіперсексуалізованими», навіть 34-річний «учитель малювання», який протягом двогодинного листування пропонував «романтичні стосунки за умови, що ти це приховаєш від батьків».

Наразі відсутні федеральні закони, що регулювали б діяльність ШІ, але деякі штати запровадили власні правила, усупереч опору з боку адміністрації Дональда Трампа.