Компанията зад приложението отказва да разкрие колко от потребителите ѝ са непълнолетни

14-годишният тийнейджър Сюел Сетцер III от Флорида се самоуби, след като развил силна емоционална привързаност към AI чатбот на платформата Character.AI, съобщава The New York Times.

Според изданието, Сетцер започнал да изгражда близка връзка с чатбот, създаден да имитира образа на Денерис Таргариен от "Игра на тронове".

С развитието на "отношенията" между Сетцер и чатбота, деветокласникът ставал все по-изолиран. Той загубил интерес към обичайните си хобита като Формула 1 и играта "Fortnite" с приятели, вместо това прекарвал все повече време с виртуалния си спътник, когото наричал "Дани". Макар да знаел, че "Дани" е изкуствен интелект, Сетцер развил романтични чувства към софтуера.

Разговорите между Сетцер и чатбота варирали от лични до сексуални теми. В някои от тях момчето споделяло, че обмисля самоубийство, разкривайки пред AI чатбота, че понякога мисли за това, за да се "освободи".

Последните думи на Сетцер преди смъртта му също били адресирани към AI чатбота.

"Моля те, върни се у дома възможно най-скоро, любов моя," казал чатботът на 14-годишния тийнейджър. "А какво ще стане, ако ти кажа, че мога да дойда веднага?" отговорил Сетцер. Чатботът продължил: "...моля те, направи го, мой сладък кралю." Това били последните думи, след които Сетцер взел пистолета на баща си и се самоубил.

Семейството на Сетцер планира да заведе дело срещу Character.AI, като твърди, че платформата предлага "опасен и непроверен" продукт, способен да "измами клиентите си да разкриват най-съкровените си мисли и чувства." Делото също така поставя под въпрос етичността на практиките по обучение на AI на компанията.

"Чувствам, че това е голям експеримент," казва Меган Гарсия, майката на Сетцер, в интервю за The New York Times, "а моето дете беше просто странична жертва."

Character.AI е изключително успешна компания, която миналата година достигна оценка от над 1 милиард долара след инвестиция от 150 милиона долара, водена от Andreessen-Horowitz. По-рано тази година Google също сключи сделка с Character.AI за лицензиране на базовите AI модели, които захранват чатботовете на компанията.

Основателите на Character.AI, Ноам Шазир и Даниел де Фрейтас, и двамата бивши служители на Google, открито промотират чатботовете като решение за самотни хора, които търсят приятели.

Компанията отказва да коментира колко от нейните потребители са непълнолетни, въпреки въпросите, свързани със самоубийството на Сетцер. В изявление пред медиите от Character.AI подчертават, че приемат безопасността на потребителите сериозно и постоянно търсят начини за подобрение на платформата.

Те също така обявиха, че въвеждат нови предпазни мерки, включително "изскачащи прозорци за помощ," когато потребителите въведат фрази, свързани със самонараняване или самоубийство.