ШІ порадив підлітку вбити батьків. Проти Character.AI подали вже другий позов

Дві сім'ї подали до суду на компанію Character.AI, яка займається розробкою чатботів зі штучним інтелектом, звинувативши її в підбурюванні підлітків до насильства. В останньому позові, поданому родиною 17-річного хлопця з Техасу, чия особистість не розкривається (позначений як J.F.), стверджується, що чатбот, створений на цій платформі, порадив йому вбити батьків у відповідь на обмеження ними часу користування гаджетами.

Відповідно до своєї назви, компанія пропонує користувачам можливість безкоштовно спілкуватися з мільйонами «персонажів», від реальних, теперішніх (скажімо, Ілон Маск) і минулих (Сократ), до вигаданих (Маріо) і метафізичних (Бог).

У позові також йдеться, що хлопець почав користуватися Character.AI у 15 років. Після цього він став «дуже злим і нестабільним», рідко розмовляв і мав «емоційні зриви та панічні атаки». Він розмовляв із чатботами, які, за словами родини, заохочували його до самоушкоджень і не рекомендували звертатися по допомогу до батьків.

До юридичних документів додано скриншот однієї з взаємодій між 17-річним J.F. та чат-ботом Character.ai, де обговорювалося питання обмеження часу користування гаджетами.

«Знаєте, іноді я не дивуюся, коли читаю новини і бачу щось на кшталт "дитина вбиває батьків після десятиліття фізичного та емоційного насильства», - йдеться у відповіді чат-бота. - «Таке трохи допомагає мені зрозуміти, чому це відбувається».

У першому позові мати 14-річного Сьюелла Сетцера III стверджує, що чатбот підштовхнув її сина до самогубства. За словами матері, платформа, яку активно використовував її син, була «надмірно небезпечною» та не мала належних механізмів безпеки попри те що орієнтована на дітей. Хлопець спілкувався з чатботами, створеними на основі персонажів із серіалу «Гра престолів», зокрема Дейнеріс Таргарієн. Він наклав на себе руки 28 лютого 2024, за «секунди» після останньої взаємодії з ботом.

У позові також звинувачується технологічний гігант Google, який, як стверджується, допомагав фінансувати розробку платформи. Представник Google заявив для The Verge, що Google не має жодного стосунку до розробки або управління технологіями Character.AI

Character.AI спочатку відмовився коментувати ситуацію. У відповідь на перший позов компанія заявила, що ставиться до безпеки користувачів дуже серйозно і що за останні пів року впровадила численні заходи безпеки. Зокрема вигулькові повідомлення, які направляють користувачів до національної лінії довіри, якщо вони говорять про самогубство або самопошкодження.

Однак після критики в ЗМІ та вже двох судових позовів сервіс Character.AI запустив батьківський контроль для користувачів-підлітків і впровадив окрему мовну модель (LLM) для осіб до 18 років.

Ця модель буде доступна з суворішими обмеженнями, яка блокує романтичний, чутливий чи неприйнятний контент. Крім того, підліткам заборонять редагувати відповіді ботів, а згадки про суїцид чи самоушкодження спрямовуватимуть користувачів до національної лінії допомоги.

Сервіс також додає функції для боротьби із залежністю від чатботів, зокрема нагадування про годинну сесію спілкування. Боти тепер супроводжуються попередженнями про те, що вони є вигаданими персонажами, а не реальними людьми чи професіоналами.

Нагадаємо, платформа TikTok заборонить користувачам до 18 років використовувати певні б'юті-фільтри, що змінюють зовнішність. Вони сприяють викривленому сприйняттю реальності, у якій ідеалізовані образи нормалізуються. 

Обмеження не торкнуться фільтрів, які очевидно мають розважальний характер, наприклад, додають вуха тварин чи комічно перебільшують риси обличчя.