Откъс от книгата на Елиезер Юдковски "Ако някой го развие, всички ще умрем!" в превод на Людмила Андреева, която издателство "Изток-Запад" пусна на българския пазар.

Елиезер Юдковски е един от най-разпознаваемите и влиятелни гласове в съвременния дебат за изкуствения интелект. Изследовател, писател и мислител в областта на AI-безопасността, той посвещава кариерата си на въпроса как човечеството може да избегне екзистенциалните рискове, произтичащи от създаването на свръхинтелигентни машини. Без академична степен, но с десетилетия самостоятелни изследвания, Юдковски е съосновател на Machine Intelligence Research Institute (MIRI) — организация, която работи върху фундаменталния проблем как да се подравни поведението на бъдещите изкуствени интелекти с човешките цели и ценности. Авторът е известен със своя директен, често тревожен стил. Той не смекчава предупрежденията си: според него напредъкът в създаването на все по-мощни AI-модели може да доведе до катастрофа, ако бъде оставен без сериозни глобални ограничения. В публицистиката и книгите си Юдковски комбинира философия, инженерна логика, теория на риска и футуристичен анализ, за да очертае сценарии, в които неконтролираният AI може да надмине човешкия интелект и да действа по начини, несъвместими с нашето оцеляване. За него това е екзистенциален въпрос, а безопасността — морален дълг. Юдковски оказва силно влияние върху глобалния разговор за бъдещето на технологиите. Позициите му предизвикват оживени дискусии между учени, инженери, политици и обществеността, защото поставят неотложни въпроси: докъде трябва да стигне развитието на изкуствения интелект, кой трябва да го контролира и какво означава човешката отговорност в епоха на технологична надпревара.

Откъс:

Спирането на продължаващата ескалация на технологията на изкуствения интелект, ограничаването на хардуера, използван за създаване на все по-мощни модели за изкуствен интелект няма да е лесно да се направи в днешния свят. Ще са нужни обаче много по-малко усилия, за да се спре по-нататъшното ескалиране на възможностите на ИИ, отколкото например за воденето на Втората световна война. За да се събуди волята за живот, е необходимо само някои страни, лидери и избиратели да осъзнаят, че се намират на трудна за преценяване, вероятно много кратка дистанция от ръба на смъртта.

Работата няма да е лесна, но все още не сме мъртви. Човешкото достойнство и достойнството на човечеството изискват да се борим.

Където има живот, има надежда.

И инженерите не са на път да започнат да разбират – поне не в близко бъдеще. В средата на 50-те години на миналия век човечеството се впусна в голям проект, за да разбере интелигентността достатъчно добре, така че да я създаде в машина. Този напредък в изследванията застина в поредица от „зими на изкуствения интелект“, когато инвестираните в изследвания на изкуствения интелект пари изобщо не се възвърнаха и финансирането многократно се сриваше. Човечеството никога не се научи да разбира интелигентността; никога не се научихме да строим тухла по тухла ум.

Човечеството най-накрая достигна нивото на ЧатДжиПиТи не чрез достатъчно добро разбиране на интелигентността, за да създаде интелигентен ум. Вместо това компютрите станаха достатъчно мощни, за да могат ИИ да се произвеждат чрез гра­диентно спускане, без да се налага човек да разбира когнициите, които се развиват вътре.

С други думи: инженерите се провалиха в създаването на ИИ, но в крайна сметка успяха да го развият.

Няма нужда човечеството да разбира интелигентността, за да създаде машини, които са по-умни от нас.

Какъв вид верига от мисли – какъв вид мислене – успява при трудна математическа задача или пъзел?

Видът мислене, който продължава, докато има някакъв начин за атака, който не се отказва, когато се сблъска с първото препятствие или дори с безизходица, а се връща назад и пробва по друг начин.

Видът мислене, който не търси извинение, за да се върне към удобно състезание на по-позната територия, а просто да завърши предизвикателството възможно най-бързо – и да спечели.

Видът мислене, което е настъпателно.

Поведението, което изглежда като упоритост, „силно желание“, „усилена работа“, не се концептуализира най-добре като свойство на ума, а по-скоро като свойство на ходовете, които печелят.

Уверено предвиждаме това: веднъж щом някои ИИ достигнат свръхинтелект – и никой няма да се бави много да стигне толкова далеч, ако се намира в средата на някаква голяма надпревара във въоръжаването, – човечеството няма шанс. Краят понякога е по-лесен за прогнозиране от пътя към него. Единствената част от нашата история, която е реална прогноза, е краят – и то само ако на историята бъде позволено да започне.

Уверено предвиждаме: веднъж щом някои ИИ достигнат свръхинтелект – и никой няма да се бави много да стигне толкова далеч, ако се намира в средата на някаква голяма надпревара във въоръжаването, – човечеството няма шанс. Краят понякога е по-лесен за прогнозиране от пътя към него. Единствената част от нашата история, която е реална прогноза, е краят – и то само ако на историята бъде позволено да започне.

От тези уроци в комбинация извеждаме допълнителен урок за инженерите: ако някой не знае точно какво се случва вътре в сложно устройство, обект на всички тези проклятия – скорост, тесни граници, самоусилване, усложнения, – тогава трябва да спре. Трябва да го изключи веднага, в мига, в който поведението изглежда странно; да не чака, докато поведението стане видимо тревожно.

Операторите в Чернобил са знаели за забавените и за бързите неутрони. Те са знаели, че ядреният реактор се движи по линия, широка част от процента, между живота и смъртта. Те са знаели теорията, според която видимо управляваният от човека времеви диапазон на реактора е хитрост, умен трик, който скрива времето за генериране на неутрони, измервано в микросекунди.

Мъдрият оператор се отнася към такова устройство с уважение. Ако устройството започне да се държи по някакъв странен или неочакван начин, то вече не работи в тесния, ограничен диапазон, в който операторите са сигурни, че разбират точно какво се случва. Това означава, че вече никой не знае какво се случва вътре. Кой знае дали хитроумните нововъведения ще продължат да работят? Може само да се гадае. Когато опасно устройство започне да се държи странно, не е време да се изтеглят всички контролни пръти с изключение на осем и да се очаква реакторът да продължи да работи нормално. Време е да се изключи.

Операторите не са се отнесли към реактора с такова уважение. Интелектуално те са знаели, че той може да експлодира, но никога не са виждали реакторът да се променя толкова бързо. Освен това преди 1986 г. съветските власти не са имали култура, насърчаваща предпазливостта около ядрените реактори. Те са имали система, при която, ако не си изпълнил планирания тест за безопасност, си бил уволняван.

(В следващите глави ще обсъдим липсата на култура на безопасност, преобладаваща в ИИ, която е много по-лоша.)

Компютърна сигурност

Компютърната сигурност е широко разбирана като проблем, който е толкова труден, толкова прокълнат, че не може да бъде решен10. Точка.

Можете да платите на специалисти по компютърна сигурност, за да направят софтуера по-сигурен. Всичко, на което може да се надява всеки специалист по компютърна сигурност обаче, е да забави атаките, така че само големите разузнавателни агенции, подкрепени от държавната власт, да могат лесно да проникнат в компютърната ви сигурност.

Защо? Защото един умен хакер може да проникне в компютърна система по начини, които дизайнерът никога не е предвиждал или обмислял, начини, които при нормална употреба не биха се появили и за милиарди трилиони години.

Архетипният хак за сигурност работи по следния начин: компютърът пита за името на потребителя. Хакерът въвежда име, което е дълго 280 букви. Програмистът не е предвидил, че името може да бъде толкова дълго; той е предположил, че имената ще бъдат най-много 256 букви. Останалите 24 букви препълват паметта, която програмистът е заделил за името на потребителя, и се записват в части от паметта на компютъра, които програмистът е предположил, че потребителят никога няма да пипне. Осем от тези букви презаписват частта от паметта, която казва на компютъра коя част от кода да изпълни след това. Изберете подходящите странни букви и компютърът вече изпълнява код, който никога не е трябвало да изпълнява. Това често може да доведе до контрол над цялата компютърна система. Наричат се „атаки с препълване на буфера“.

Изкуственият свръхинтелект е като ядрен реактор, тъй като неговата основна реалност включва огромни, потенциално самоусилващи се сили, чиито вътрешни процеси протичат по-бързо, отколкото хората могат да реагират.

Изкуственият свръхинтелект е като проблем с компютърната сигурност, тъй като всяко ограничение, което инженерът се опитва да наложи на системата, може да бъде заобиколено от интелигентните сили, които тези ограничения възпрепятстват.

Тази поредица от предизвикателства би изглеждала ужасяваща дори ако разбирахме законите на интелекта; дори ако разбирахме как точно работят тези ИИ; дори ако знаехме точно къде се намира разликата между преди и след; дори ако знаехме точно колко голям е маржът ни за грешка.

Ние не знаем. ИИ се развива, а не се създава. Каквито и огромни усложнения да се крият в изкуствения интелект и да му придават силата на интелигентността, никой не ги знае.

Да се обзалагаме, че човечеството може да реши този проблем с настоящото си ниво на разбиране изглежда все едно да се обзалагаме, че алхимиците от 1100 г. биха могли да построят работещ ядрен реактор – който да работи в дълбините на Космоса; от първия опит.

Обикновено се опитваме да избягваме да викаме. През по-голямата част от времето не помага да се вика. То просто кара хората да мислят, че сте недисциплинирани. На някакъв етап обаче, след като сте преминали спокойно през всички предпоставки на аргумента си, смятаме, че става безполезно да се омаловажава, за да не би да си помислят хората, че всичко е просто игра на спокойни думи.

Когато става въпрос за изкуствен интелект, предизвикателството, пред което е изправено човечеството, не може да бъде преодоляно с настоящото ниво на знания и умения на човечеството. Още сме далече.

Опитът да се реши подобен проблем, при който е заложен животът на всички хора на Земята, ще е безумен и глупав хазарт, до който НИКОЙ НЕ ТРЯБВА ДА БЪДЕ ДОПУСКАН.

Историята на инженерството е пълна с блестящи, нетърпеливи оптимисти, които се впускат с главата напред в пленителни нови проблеми, които в крайна сметка се оказват много, много по-трудни, отколкото са очаквали.

Съвременният ИИ е гигантска, неразгадаема бъркотия от числа. Никой човек не е успял да погледне тези числа и да разбере как мислят сега, да не говорим за това да изведе как би се променило мисленето на ИИ, ако ИИ станат по-умни и започнат да проектират нови ИИ. Ако намерите някои инженери ветерани, които са отдали на проблема дължимото уважение, те ще ви кажат, че решението ще изисква Херкулесова изследователска работа. Тя може да продължи десетилетия.

„Ще ги накараме да се интересуват от истината и тогава ще сме в безопасност.“

„Ще ги проектираме така, че да бъдат покорни.“

„Просто ще накараме ИИ да реши проблема с привеждането в съответствие на изкуствения свръхинтелект за нас.“

Това не е начинът, по който инженерите говорят, когато уважават проблема и знаят точно какво правят. Така звучат алхимиците от древността16, когато са провъзгласявали своите грандиозни философски принципи за това как да превърнат оловото в злато.

В съвременната епоха знаем, че е възможно да превърнем оловото в злато; всичко, което е необходимо, е малко ядрена физика и много повече пари, отколкото струва. Защо тогава алхимиците не са успели? Не е, защото са допуснали само една техническа грешка. По-скоро е, защото само собственото им невежество и оптимистични налудности са ги накарали да мислят, че те изобщо са близо до способността да постигнат трансмутация.

Когато става въпрос за привеждане на изкуствения интелект в съответствие, компаниите все още са в алхимичната фаза. Те все още са на нивото на високопарни философски идеали, а не на нивото на инженерни проекти. На нивото на велики мечти, а не на внимателно изработена велика реалност. Освен това те не изглежда да осъзнават защо това е проблем.

Историята е пълна с други примери за минимизиране и игнориране на катастрофални рискове. Когато „Титаник“ е започнал да потъва, много от пътниците първоначално отказвали да се качат на спасителните лодки, убедени, че корабът е непотопяем. Някои дори се подигравали на онези, които смятали, че е време да напуснат кораба. Историкът Уолтър Лорд е написал подробен отчет за катастрофата и преразказва свидетелствата на оцелелите:

С единия крак в [спасителната лодка] №6 и другия на палубата, Лайтлотър призова жените и децата да се качат. Реакцията била всичко друго, но не и ентусиазирана. Защо да сменят светлите палуби на „Титаник“ за няколко тъмни часа в гребна лодка?

Дори Джон Джейкъб Астор се подиграл на идеята: „Тук сме в по-голяма безопасност, отколкото в тази малка лодка.“

Когато г-жа Дж. Стюарт Уайт се качила в №8, един приятел ѝ извикал: „Когато се върнеш, ще ти трябва пропуск. Утре сут­ринта няма да можеш да дойдеш без пропуск!

Това е обичайният начин, по който човечеството се научава да преодолява предизвикателствата: отричаме проблема, реалността ни удря няколко шамара и тогава започваме да се отнасяме към проблема с повече уважение. „Титаник“ е потънал и повечето хора на борда са загинали. Днес обаче пътническите кораби имат достатъчно спасителни лодки и в наше време, ако капитанът каже да се качите на тях, ще се качите. Вече не рекламираме корабите като непотопяеми. Първия път правим грешка, а втория път се учим от нея.

С ИСИ няма втори път

Има много причини, поради които някой, който преследва красива мечта, не би искал да повярва, че тя може да завърши с разруха. Ъптън Синклер веднъж отбелязва, че е трудно да накараш човек да разбере нещо, когато заплатата му зависи от това да не го разбира. Инженерите по изкуствен интелект и техните ръководители рискуват много повече от заплатите си. Дори да оставим настрана красивите мечти, които биха се разбили, ако признаят рисковете, които поемат, те са посветили кариерата си на този вид работа и може би не искат да повярват, че тя застрашава всичко, което познават и обичат.

В областта на изкуствения интелект има много истински идеалисти, които искрено вярват, че работят за благото на цялата цивилизация. Разбира се, лесно е да се приеме такава поза, но ние смятаме, че в значителна част от случаите това е реално. За съжаление, дори и много искрен идеализъм не е достатъчен, за да попречи на изкуствения свръхинтелект да убие всички ни. За това е необходима зряла наука.

Може би ще помогне, ако повече хора разберат колко бързо се развива тази област. През 2015 г. най-големите скептици по отношение на опасностите от изкуствения интелект уверяваха всички, че тези рискове няма да се материализират в следващите стотици години. През 2020 г. анализаторите заявиха, че човечеството вероятно има няколко десетилетия, за да се подготви. През 2025 г. изпълнителните директори на компании за ИИ прогнозират, че могат да създадат свръхчовешки добри ИИ-изследователи за период от една до девет години, докато скептиците уверяват, че вероятно ще отнеме най-малко пет до десет години.

Десет години не са много време, за да се подготвим за зората на машинния свръхинтелект, дори да имаме късмета да разполагаме с толкова дълго време.

Когато това са дебатите, които водят експертите, не е нужно да сте сигурни кои експерти са прави, за да разберете, че нещо в настоящата ситуация не е наред.