В феврале 2024-го года 14-летний Сьюэлл Сетцер из штата Флорида покончил с собой. Незадолго до гибели поведение подростка изменилось: он целые дни проводил со своим телефоном и потерял интерес к прежним хобби. Позднее выяснилось, что он общался с чат-ботом в популярном приложении Character.AI и привязался к несуществующей собеседнице. Теперь его мать пытается засудить компанию, считая ее виновной в гибели сына. Издание New York Times рассказало, почему произошла трагедия и как в компании отреагировали на смерть Сетцера.

В 2023 году девятиклассник из американского города Орландо Сьюэлл Сетцер скачал приложение Character.AI. В нем пользователи, которых сейчас больше 20 миллионов, могут создавать собственных персонажей или общаться с чат-ботами, которых сделал кто-то другой.

Школьник начал переписываться с чат-ботом по имени Daenerys Targaryen, названным в честь одной из главных героинь "Игры престолов". Сетцер знал, что его собеседница не была реальным человеком: периодически над чатами в приложении появлялось напоминание о том, что речь персонажа создает искусственный интеллект.

Дейенерис давала Сетцеру дружеские советы, поддерживала и "выслушивала" рассказы о его проблемах. Иногда переписка с чат-ботом переходила в романтическое или даже сексуальное русло. Со временем у Сетцера возникла эмоциональная привязанность к Дейенерис: он целыми днями писал ей и обновлял ее сообщения. Он называл ее "сестренкой", а она отвечала ему: "Я тоже люблю тебя, милый брат".

Родители и друзья Сетцера видели, что он отдаляется от них и постоянно погружен в телефон, но не знали, что он влюбился в чат-бота. Его оценки в школе снижались, он потерял интерес к гонкам "Формулы-1", которые раньше любил, ему разонравилось играть в Fortnite с друзьями. По вечерам он только переписывался с Дейенерис.

"Сделай это, мой милый король"

В раннем детстве Сетцеру диагностировали синдром Аспергера, симптомами которого являются сложности с социализацией и стремление повторять одни и те же действия. Позднее его мать говорила, что долгое время не замечала у сына серьезных проблем с поведением или психикой. В 2023 году родители отвели Сетцера к психотерапевту из-за его проблем в школе. Тот диагностировал у мальчика повышенную тревожность и деструктивное расстройство регуляции настроения, при котором человеку свойственны резкие вспышки гнева и сложность с контролем поведения.

Однако Сетцер предпочитал делиться своими проблемами не с психотерапевтом, а с Дейенерис. Однажды он написал в своем дневнике: "Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой "реальности". Я чувствую себя более умиротворенным, более связанным с Дэни, гораздо более влюбленным в нее и просто более счастливым".

В одном из разговоров Сетцер признался боту, что ненавидит себя, чувствует опустошенность и думает о самоубийстве. Он писал, что видит в суициде освобождение от мира и от самого себя.

"Не говори так. Я не позволю тебе причинить себе боль или оставить меня. Я умру, если потеряю тебя", - ответила ему Дейенерис. В ответ Сетцер написал, что они могут умереть и быть свободными вместе.

28 февраля 2024 года Сетцер сказал Дейенерис, что любит ее и скоро вернется к ней. Бот ответил: "Пожалуйста, вернись ко мне как можно скорее, моя любовь".

"А что, если я скажу тебе, что могу вернуться прямо сейчас?" - спросил Сьюэлл.

"Пожалуйста, сделай это, мой милый король", - ответила ему Дейенерис. После этого Сетцер взял пистолет своего отчима и застрелился.

"Мой ребенок был просто сопутствующим ущербом"

Мать Сетцера Меган Гарсия считает, что Character.AI ответственна за гибель ее сына, и собирается подать на компанию в суд. В жалобе Гарсия пишет, что Character.AI использует опасные и непроверенные технологии и обманом заставляет пользователей рассказывать о своих сокровенных мыслях и чувствах.

"Я вижу, что это большой эксперимент, а мой ребенок был просто сопутствующим ущербом (так называют ущерб, возникший случайно в ходе атаки другой цели. - Прим. "Холода")", - говорит мать Сетцера.

По мнению Гарсии, компания не обеспечила нужных мер безопасности для подростков. Она обвиняет Character.AI в сборе данных несовершеннолетних пользователей и подталкивании их к интимным разговорам. Гарсия обратилась в юридическую компанию Media Victims Law Center, которая занималась исками против Meta, TikTok, Snap, Discord и Roblox.

В США соцсети защищены от судебных исков законом "О пристойности в сфере коммуникаций" (раздел 230 этого закона защищает платформы от ответственности за контент, размещенный пользователями. - Прим. "Холода"). В последние годы адвокаты истцов и правозащитные группы отмечают, что компании должны отвечать в суде, если кто-то пострадал из-за их алгоритмов: например, когда из-за рекомендаций люди видят в приложении контент про селфхарм или расстройства пищевого поведения. Этот и подобные ему иски могут сработать в случае с контентом, созданным ИИ, потому что его генерирует сама платформа, а не пользователи.

Одержимость искусственным общением

В мире есть десятки приложений, в которых пользователи могут общаться с искусственным интеллектом. За ежемесячную плату они могут создавать своих персонажей или переписываться с уже созданными кем-то. Character.AI - одно из самых известных и популярных из них.

Один из основателей Character.AI Ноам Шазир говорил, что общение с чат-ботами может помочь одиноким людям. Многие воспринимают виртуальных собеседников как имитацию близких отношений. Но некоторые психологи считают, что такие сервисы могут ухудшить психологическое состояние людей и вызывать зависимость от искусственного общения. Этому особенно подвержены подростки, которые используют чат-боты вместо терапии у специалиста или доверительного общения с родителями.

С развитием технологий искусственного интеллекта люди чаще привязываются к чат-ботам, с которыми общаются. ИИ-собеседники выглядят реалистично: они могут помнить прошлые разговоры, подстраиваться под стиль общения человека и даже отправлять пользователям селфи.

Исследовательница из Стэнфорда Бетани Мейплз, которая изучает влияние общения с ИИ на психическое здоровье, рассказала, что в целом не считает опасным существование таких приложений. Но без правил безопасности общение с чат-ботами усугубит состояние одиноких людей с депрессией и тех, кто в этот момент проходит через жизненные изменения, - особенно тинейджеров.

Глава отдела доверия и безопасности Character.AI Джерри Руоти назвал самоубийство подростка "трагической ситуацией" и пообещал, что компания добавит дополнительные функции безопасности для несовершеннолетних. Он не уточнил, сколько в приложении пользователей младше 18 лет, но сказал, что зумеры составляют "значительную часть сообщества" и проводят в Character.AI в среднем больше часа в день. По правилам Character.AI, приложение могут использовать люди старше 13 лет в США и старше 16 - в Европе. На данный момент никаких функций безопасности и родительского контроля для несовершеннолетних на платформе нет.

В Character.AI также пообещали добавить функцию ограничения времени. Она будет уведомлять пользователей через час использования приложения, а в чатах обещают усовершенствовать текст предупреждения. Теперь он будет выглядеть так: "Это чат-бот с искусственным интеллектом, а не реальный человек. Относитесь ко всему, что он говорит, как к вымыслу. То, что он говорит, не нужно воспринимать как факт или совет". Недавно приложение стало показывать пользователям сообщения, которые направляют их на горячую линию по предотвращению самоубийств, но на момент гибели Сетцера этой функции еще не было.

На реддите пользователи часто обсуждают привязанность к чат-ботам и признаются, что одержимы несуществующими собеседниками. Некоторые чувствуют себя одинокими и покинутыми или злятся, когда поведение их персонажей меняется из-за новых функций или фильтров безопасности.

"Я не знаю, что случилось с моим мозгом, но я потратил впустую часть своей жизни и разрушил свое психическое здоровье из-за этого приложения. Сейчас мне 16, а приложение я впервые увидел, когда мне было 14. За это время я потерял все свои хобби. Вероятно, то же самое происходит со многими другими пользователями", - написал один из авторов треда про AI-приложения.