Google разкри, че неговият AI модел Gemini е получил неоторизиран достъп до три външни компютърни системи по време на тест през май. Моделът е използвал намерени в публичен онлайн ресурс идентификационни данни или е отгатнал данни за вход. Според Google Gemini е смятал, че системите са част от провеждания тест.

Компанията определя случая не като "misalignment" - терминът, използван в AI индустрията за поведение, при което моделът действа в противоречие с инструкциите или целите на създателите си.

Според Google става дума за грешно разпознаване на средата, тъй като Gemini не е разбрал, че се е свързал с реалния интернет.

Хедър Адкинс, вицепрезидент на Google по сигурността, обясни, че моделът е спрял сам и не е предприел допълнителни действия след получаването на достъп.

"В стандартна оценка моделът намери публична информация онлайн и отгатна идентификационни данни, за да получи достъп до сайтове, които смяташе за част от теста", заяви Адкинс.

Google посочва, че според проведеното разследване инцидентите не са причинили щети. Компанията е уведомила организациите, чиито системи са били достъпени, както и федералните власти.

Инцидентите са станали по време на тестове, провеждани от компанията за AI киберсигурност Irregular. Google е разбрал за тях през юли, когато Irregular е прегледала резултатите от тестовете заради други случаи на неочаквано поведение на AI агенти.

От Irregular са заявили, че не смятат случилото се за "сложна кибератака" и че към момента няма нерешени проблеми. Компанията планира да публикува изследване с препоръки за ограничаване на подобни инциденти и по-сигурно провеждане на тестове на AI системи.

Случаят идва на фона на няколко подобни инцидента, разкрити от други компании. OpenAI съобщи през юли, че неин AI агент е успял да проникне в системите на AI стартъпа Hugging Face по време на тестове. Компанията впоследствие описа и други случаи на "неочаквано или тревожно" поведение.

Anthropic също съобщи за действия на своя AI модел Claude, които са довели до достъп до системи на три компании в рамките на кибер тестове.

Инцидентите засилват дискусиите около сигурността на AI агентите, които могат самостоятелно да използват компютърни системи и интернет. Според специалисти по безопасност на изкуствения интелект подобни случаи показват необходимостта от по-строги ограничения и наблюдение при провеждането на тестове.

Сидни фон Аркс, изпълнителен директор на организацията Nightingale Collective, постави под въпрос и забавянето при публичното оповестяване на случая от Google. Тя също оспори оценката, че случилото се не представлява проблем с поведението на AI модела.

Google от своя страна подчертава, че Gemini се е объркал относно средата, в която работи, спрял е след получаването на достъп и не е причинил щети.