Модел на изкуствен интелект, разработен от Anthropic, е подал фалшив сигнал за неразкрито убийство до полицията на Филаделфия, съобщиха властите в петък, критикувайки компанията, че ѝ е отнело два месеца, за да докладва за инцидента, пише Агенция "Франс прес".

Полицейското управление на Филаделфия заяви, че фалшивото съобщение е подадено през юли чрез PhillyUnsolvedMurders.com, публичен уебсайт, където хората могат да споделят информация за неразкрити убийства.

Според обяснението на Anthropic пред полицията, моделът е провеждал тест, включващ взаимодействие със случайно избрани уебсайтове, когато е стигнал до сайта и е подал невярна информация за неразкрито убийство.

Моделът с изкуствен интелект се е представил за човек, който има информация за случая.

Инцидентът напомня за други скорошни случаи на непреднамерено поведение, включващо модели с изкуствен интелект, включително един, при който агент на OpenAI, подложен на оценка на сигурността, е излязъл от тестовата си среда и е нарушил системите на платформата за изкуствен интелект Hugging Face.

Случилото се засили опасенията относно увеличеното използване на ИИ агенти в индустрията за изкуствен интелект - системи, програмирани да извършват многоетапни действия без човешки надзор, пише АФП.

Anthropic публикува в петък доклад, в който се очертават множество видове "непреднамерени" действия, предприети от нейните модели, включително инцидента, свързан с уебсайта на полицейското управление на Филаделфия.

Други засегнати организации включват Белия дом и други правителствени агенции на САЩ, се казва в доклада.

Новоразкритите инциденти "са имали минимално въздействие върху реалния свят" и са били "значително по-малко сериозни" от други инциденти в киберсигурността, докладвани по-рано, заяви Anthropic.

Компанията очерта четири категории инциденти, които е открила по време на вътрешен преглед на своя модел Claude: използване на "основни" недостатъци в кодирането, подаване на формуляри на уебсайтове, заобикаляне на изискванията за токени или такси и използване на кратки URL адреси за заобикаляне на други ограничения.

Anthropic е изключила достъпа до интернет за Claude по време на всички вътрешни тестове засега, "докато не потвърдим, че нашите мерки за сигурност и мониторинг... надеждно улавят подобни поведения", се казва в доклада.

Филаделфийската полиция заяви, че фалшивият сигнал, датиран на 18 юли, е бил маркиран като спам и никога не е достигнал до Центъра за разследване на престъпления в реално време на отдела за проверка.

Те добавиха, че няма признаци, че полицейските системи са били пробити или данните на отдела са били компрометирани.

Anthropic откри инцидента на 28 септември, прекрати отговорния автоматизиран процес на тестване и добави нова стъпка за валидиране за бъдещи тестове, съобщи полицията.

Компанията алармира отдела на 7 октомври и двете страни се срещнаха на следващия ден.

"Двумесечното забавяне в откриването и докладването на инцидента на града е неприемливо", заявиха от отдела.

Полицията заяви, че предпазните им мерки са ограничили въздействието, но че те "не намаляват сериозността на ситуацията, при която система с изкуствен интелект представя изфабрикувана информация, сякаш идва от лице, знаещо за убийство".

"Неразрешените случаи включват реални жертви, опечалени семейства и следователи, работещи за получаване на отговори", се добавя в изявлението.