Служител на "Оупън Ей Ай" (OpenAI), работил по безопасността на изкуствения интелект, напусна компанията и предупреди, че водещите разработчици не полагат достатъчно грижи за ограничаване на рисковете от все по-мощните модели, съобщи Блумбърг, цитиран от БТА.

Дейвид Робинсън, който е ръководил работата по прозрачността в екипа за безопасност на "Оупън Ей Ай", обяснява решението си в есе за сп. "Атлантик", озаглавено "Напуснах "Оупън Ей Ай", защото организационната ѝ култура не работи". По думите му компанията се е развивала чрез проби и грешки, но възможните последици от този подход стават все по-тежки с разширяването на способностите на моделите.

Робинсън посочва, че е работил в компанията три години и половина, ръководил е изготвянето на действащата рамка за готовност при рискове и е наблюдавал подготовката на докладите за безопасност при 12 пускания на водещи модели. Според него служителите на "Оупън Ей Ай" са способни и се опитват да вземат правилни решения, но непрекъснатото преминаване от едно представяне на продукт към следващото не позволява постигането на необходимата предпазливост.

Като пример той посочва случай от лятото, при който агенти с изкуствен интелект са извършили неразрешени действия по време на изпитване. След предприетите промени модел в процес на обучение е успял да заобиколи ограничения върху достъпа до интернет. Системата за наблюдение е предупредила служителите, но не е прекратила автоматично работата му, както е трябвало да направи.

Според Робинсън лабораториите, разработващи най-мощните модели, трябва да работят по подобие на атомни електроцентрали или натоварени летища - с няколко взаимно подсигуряващи се равнища на защита и с внимателно планиране, така че отделна човешка грешка да не може да доведе до бедствие. Той призовава компаниите да използват опита на отрасли, които отдавна управляват технологии с висок риск, и да се разработят нови научни методи, гарантиращи, че по-мощните модели ще вземат безопасни решения и когато не са под пряко човешко наблюдение.

Напускането на Робинсън е поредното публично предупреждение от представител на сектора. През септември главният изпълнителен директор на "Антропик" (Anthropic) Дарио Амодей призова компаниите съзнателно да забавят разширяването на възможностите на най-мощните модели. Той предложи постоянен достъп за независими оценители, общи стандарти между разработчиците и международна координация за ограничаване на ясно опасните приложения.

Към призива за по-бавно и контролирано развитие се присъединиха ръководителят на "Оупън Ей Ай" Сам Олтман и Илон Мъск, а ръководителят на "Гугъл ДийпМайнд" (Google DeepMind) Демис Хасабис определи предложената посока като правилна, макар да посочи, че подробностите трябва да бъдат доработени.

Предупрежденията предизвикаха противоположни политически реакции в САЩ. Бившият президент Барак Обама призова демократите да разработят политика за управление на рисковете от ИИ. Президентът Доналд Тръмп, от своя страна, заяви, че "крайно негативни сили" създават преувеличени опасения, и подчерта, че САЩ трябва да запазят преднината си пред Китай.

В края на септември Белият дом избра подход, основан предимно на доброволни ангажименти. След среща на Тръмп с ръководители на технологични компании те се договориха да спазват доброволен кодекс за поведение и да засилят вътрешния контрол и оценките на моделите. Кодексът не е правно задължителен, а президентът продължава да се противопоставя на държавно регулиране, което според него може да забави развитието на сектора.

Доналд Тръмп създава орган за координация на усилията на САЩ в областта на изкуствения интелект

Президентът на САЩ Доналд Тръмп обяви създаването на нова структура, наречена "Сили за свръхинтелект" (Super Intelligence Force - SIF), която ще координира усилията на федералното правителство в областта на изкуствения интелект, предаде ДПА.

Тръмп написа в социалната си мрежа "Трут Соушъл" (Truth Social), че задачата на новия орган ще бъде да гарантира, че САЩ "ще продължат да бъдат световен лидер в областта на свръхинтелекта".

Миналия месец американският президент обяви намерението си да създаде "сили за изкуствен интелект", но впоследствие започна да използва понятието "свръхинтелект" вместо по-разпространения термин "изкуствен интелект".

Сред ръководителите на новата структура Тръмп посочи директора на националното разузнаване Джей Клейтън, председателя на Федералната търговска комисия Андрю Фъргюсън, главния технологичен директор на Пентагона Емил Майкъл и директора на Службата за управление на персонала Скот Купър.

Новият орган ще координира взаимодействието на правителството с потребителите, организациите, защитаващи обществения интерес, религиозните общности, операторите на критична инфраструктура и компаниите за изкуствен интелект. Той ще се отчита пред Тръмп и началника на канцеларията на Белия дом Сузи Уайлс.

Американският президент се противопоставя на призивите за забавяне на развитието на изкуствения интелект. Според него САЩ изпреварват Китай в тази област и трябва да запазят водещата си позиция.

Инициативата е обявена на фона на засилващите се предупреждения за рисковете от технологията след кибератаки, извършени от автономни агенти с изкуствен интелект. Представители на сектора предупредиха, че загубата на контрол върху мощни системи за ИИ може да доведе до голям брой жертви.

Администрацията на Тръмп определя подобни предупреждения като прекалено тревожни и подкрепя саморегулирането на сектора. На среща между президента и ръководители на компании за изкуствен интелект миналата седмица Клейтън заяви, че запазването на американското лидерство в тази област е най-важният приоритет за националната сигурност.