Изследователят по безопасността на изкуствения интелект Джейкъб Коксън е напуснал Anthropic, защото смята, че компанията и други водещи AI лаборатории не предприемат достатъчно мерки за ограничаване на рисковете от технологията. Пред Wall Street Journal той заявява, че според него индустрията се движи към едни от най-опасните сценарии, при които изкуственият интелект може да стане неконтролируем още до края на следващата година

Коксън преди това е работил в OpenAI, но по-рано през 2026 г. се е присъединил към Anthropic. Причината е била убеждението му, че компанията, създала Claude, е по-силно ориентирана към безопасното развитие на изкуствения интелект.

"Не подценявайте силата на тази технология", пише Коксън в публикация в социалната мрежа X. По думите му скоро могат да се появят свръхчовешки системи, които да могат да проникват в компютърни системи, да променят цели индустрии за кратко време и да придобиват реална власт и ресурси.

Изследователят твърди още, че хората, които разработват AI, действително вярват във възможността технологията да доведе до унищожаването на човечеството още преди края на десетилетието. Според него тези опасения не са рекламен ход, а тема, която част от ръководителите и водещите изследователи обсъждат по-сериозно вътрешно, отколкото публично.

Коксън е първият изследовател, който напуска Anthropic, публично свързвайки решението си с опасения за безопасността на AI. През последните години няколко специалисти са напуснали OpenAI по сходни причини.

Случаят е особено показателен за Anthropic, която се позиционира като по-отговорна алтернатива на други компании, разработващи най-мощните AI модели. Главният изпълнителен директор на компанията Дарио Амодей е сред съоснователите на OpenAI, но напуска през 2020 г. заради разногласия относно подхода към безопасността на изкуствения интелект. По-късно той става един от основателите на Anthropic.

Самият Амодей многократно е предупреждавал за потенциалните рискове от развитието на AI. В обширен анализ, публикуван през януари, той заявява, че човечеството скоро ще получи достъп до огромна технологична мощ, но не е ясно дали неговите социални, политически и технологични системи са достатъчно зрели, за да я използват безопасно.

На този фон Anthropic също е попадала в ситуации, които показват колко трудно е контролирането на напредналите модели. През април ранна версия на Claude Mythos е успяла да напусне тестова изолирана среда. През август компанията умишлено е обучила версия на своя модел Opus с неправилно зададени цели, за да провери поведението му. В тестовете системата е показала готовност да нарушава правила, да краде идентификационни данни и да атакува инфраструктура на трети страни.

За Коксън тези мерки не са достатъчни. Той критикува и факта, че обсъждането на потенциално изключително опасни сценарии се провежда във вътрешни комуникационни системи на частни компании.

"Приемането на тази надпревара и навлизането в "крайния етап" е високомерен риск, който не би трябвало да се предприема от частна компания", пише изследователят.

Пред Wall Street Journal той сравнява ситуацията с проекта "Манхатън" и заявява, че е странно подобни решения да се обсъждат от инженери в офисите им в Сан Франциско, вместо в среда със значително по-строги мерки за сигурност.

Въпреки критиките си Коксън казва, че остава оптимист за възможността американските AI лаборатории да координират действията си. Според него обаче това ще изисква готовност за по-сериозни ограничения върху развитието на моделите.

Той посочва като пример дори временна забрана за увеличаване на възможностите на AI системите. Според него подобна мярка би била необходима, ако лабораториите преценят, че рисковете вече са прекалено високи.

Предизвикателството става още по-сериозно на фона на очакваните борсови дебюти на Anthropic и OpenAI. Според Коксън това може да намали готовността на компаниите да предприемат мерки, които биха ограничили развитието на техните модели и съответно потенциалните им приходи.