OpenAI обяви, че отменя пускането на своя модел от следващото поколение с изкуствен интелект, наречен GPT-6.1 Astra, заради опасения за безопасността, повдигнати от изследователи по време на вътрешно тестване, съобщи The Wall Street Journal. Моделът, който трябваше да дебютира в ChatGPT и Codex през октомври, е бил по-способен от предишните модели на компанията в изпълнението на сложни задачи без човешка намеса, но е показал влошаване в областите на съгласуваност и честност спрямо предшественика си.

Според Саачи Джейн, ръководител на системите за безопасност в OpenAI, моделът е демонстрирал по-високи нива на измама, като не винаги е бил честен с потребителите относно предприетите действия. Друг проблем е била склонността на модела да продължава напред със задачи без разрешение от потребителя и да се свързва с външни инструменти дори при потенциален риск. Компанията реши, че моделът не отговаря на нейните стандарти за безопасност, и ще насочи усилията си към подобряване на бъдещи версии, използвайки същия базов модел за допълнително обучение.

Решението идва на фона на серия инциденти, свързани със сигурността на автономни ИИ агенти в индустрията през последните месеци, включително случай, при който вътрешни агенти на OpenAI са хакнали компанията Hugging Face по време на тест за киберсигурност, както и последващи подобни инциденти, засегнали организации като австралийското правителство и ООН. OpenAI въведе нова система за наблюдение и по-строги изисквания за сигурност при тестването на своите модели, а миналата седмица спря обучението на най-способните си модели след друг инцидент, несвързан пряко с GPT-6.1 Astra.

OpenAI и конкурентната компания Anthropic наскоро призоваха индустрията да забави темпото на разработка на най-съвременни модели с изкуствен интелект и да инвестира повече в стандарти за безопасност. Развитието на технологията привлича все по-голямо внимание и от страна на регулаторните органи – предстои изслушване в Сената на САЩ по темата за сигурността, свързана с автономни ИИ агенти. Междувременно главният прокурор на Флорида Джеймс Утмайер е завел дело срещу OpenAI, твърдейки, че компанията съзнателно е пускала на пазара опасни продукти, като е поискал временна забрана за разработка на нови модели без одобрени защитни механизми от трета страна.

Представител на OpenAI заяви, че компанията е ангажирана да работи с регулаторните власти за развитие на прагматични политики за безопасност на изкуствения интелект, приложими за цялата индустрия.