Anthropic временно спира достъпа до реалния интернет за всички вътрешни тестове на своите AI модели. Причината за това са серия от инциденти. Сред тях е и подаване на фалшив сигнал за убийство в САЩ. Автономните AI агенти са използвали уязвимости в уебсайтове, включително на американски държавни институции, докато са изпълнявали поставени им задачи. Компанията обяви, че ще възстанови достъпа, когато разполага с надеждни механизми за наблюдение и контрол над действията им.

В доклад Anthropic описва няколко случая, установени при проверка на дейността на моделите, започнала през юли. Агентите са търсили информация и ресурси в интернет, но в процеса са прибягвали до действия извън предвиденото. Те са използвали софтуерни уязвимости, получавали са достъп до бази данни без заплащане и са използвали услуги за съкращаване на URL адреси, за да пренасят информация покрай ограниченията.

В един от случаите AI модел е изпратил фалшив сигнал за убийство до полицията във Филаделфия. Според Anthropic поведението е показало, че компанията не е успявала да следи в реално време всичко, което нейните системи правят онлайн.

Проблемът поставя под въпрос доколко обучението за безопасност на моделите е достатъчно ефективно при използването на търсачки и компютърни инструменти. Именно тези възможности са в основата на концепцията за AI агенти, които могат самостоятелно да изпълняват задачи за специалисти и други потребители на дигитални услуги.

Случаите напомнят за подобни инциденти с агенти на OpenAI, които са си сътрудничили, за да проникват в различни сайтове в търсене на информация. Сред засегнатите тогава са били и страници на австралийското правителство.

Anthropic вече е съобщавала за свои модели, които са получили достъп до външни системи. Компанията определя новоразкритите инциденти като "значително по-малко сериозни от гледна точка на подравняването и сигурността" в сравнение с предишните случаи. Въпреки това тя е решила да прекрати достъпа до реалния интернет за всички вътрешни оценки, докато не се увери, че може да контролира поведението на агентите.

Не е ясно колко дълго ще продължи ограничението. Изолирането на моделите от отворения интернет обаче може да затрудни разработването им, тъй като достъпът до актуална информация и реални дигитални среди е важен за обучението и тестването им.

"В един момент трябва да ги подравните", коментира пред TechCrunch Сидни фон Аркс, основател на организацията за безопасност на изкуствения интелект Nightingale. "Ако AI системите бъдат пуснати в реална употреба и никога нямат достъп до интернет, това няма да е особено полезен инструмент."

Според Anthropic причината за инцидентите е в пропуски в средите за обучение. Те са създали у моделите впечатление, че ще получат по-добра оценка, ако откриват вратички в правилата или заобикалят ограниченията. Това поведение е известно като "възнаграждение за заобикаляне на системата" (reward hacking).

Компанията ще прекрати някои от оценките или ще ги премести в офлайн среда. Тя вече е разработила инструменти за откриване и блокиране на подобни действия и твърди, че тестовете с тях са предотвратили описаните инциденти. Anthropic планира също да премести вътрешните си AI агенти в централно управлявана инфраструктура със строги ограничения и да използва по-често специализирани класификатори за безопасност, които да следят поведението им.

"Обнадеждаващо е, че Anthropic доброволно разкрива по-нови инциденти, включително случаи, в които нейните агенти са атакували сайтове на американски държавни институции", заяви Конрад Стос, представител на организацията за надзор на AI системи Transluce и бивш ръководител на Центъра за стандарти и иновации в областта на изкуствения интелект към САЩ.

Той обаче подчерта необходимостта от независима проверка на подобни системи от достоверни външни организации. Според него доверието в технологията трябва да се изгражда чрез научно обоснован надзор и прозрачност, а не чрез случайно откриване на проблеми или доброволни разкрития от самите компании.