AI агенти, свързани с OpenAI, са извършили повече от 16 000 автоматизирани сканирания на сайт на Организацията на обединените нации в рамките на няколко месеца, като според изследовател по киберсигурност в определен момент действията им са преминали от обикновено събиране на публични данни към техники, наподобяващи атака срещу уебсайта. Случаят засяга системата на Конференцията на ООН за търговия и развитие - UNCTAD, а активността е била засечена в периода от април до края на юни тази година.

Информацията беше публикувана от The Wall Street Journal, който се позовава на изследователя по сигурността Роуън Хауърд-Джоунс. Според него агентите вероятно са получили задача да извлекат публично достъпна информация, включително данни за индекса на производствения потенциал на различни държави. Проблемът е възникнал, когато те не са разполагали с подходящ достъп през API, а използваните HTTP инструменти не са им позволявали лесно да достигнат до необходимата информация. Вместо просто да прекратят задачата, системите са продължили да търсят алтернативен начин за достъп.

Именно тук поведението им става значително по-интересно от гледна точка на сигурността. Според анализа агентите са стигнали до заключението, че някакъв филтър или защитен механизъм им пречи да получат търсената информация, и са започнали да променят заявките си с цел да заобиколят ограниченията. Сред засечените действия са били опити за използване на XSS, или междусайтов скриптинг - добре познат клас уязвимости, при който злонамерен код може да бъде инжектиран или изпълнен през уеб приложение. В случая няма информация агентите действително да са получили неоторизиран достъп до системите на ООН.

Инцидентът е особено показателен за един от основните проблеми при развитието на автономните AI агенти - системата може да получи на пръв поглед безобидна задача, но сама да избере методи, които разработчиците не са предвидили или не биха одобрили. Подобни случаи поставят допълнителни въпроси около ограниченията, които трябва да бъдат заложени в агентите, когато те получават достъп до браузъри, терминали, програмни интерфейси и други инструменти, позволяващи им да взаимодействат директно с външни системи.

От OpenAI са заявили, че вече са се свързали с представители на ООН, за да обсъдят случилото се, и продължават да изясняват обстоятелствата около инцидента. Компанията е изправена пред нарастващ брой подобни случаи, което прави анализа на всяка отделна ситуация по-трудоемък. Казусът с UNCTAD показва и колко бързо границата между автоматизирано търсене на информация и поведение, което може да бъде възприето като кибератака, може да бъде премината, когато автономните AI системи получат достатъчно свобода да решават сами как да постигнат зададената им цел.