"Илюзиите за мислене се сриват напълно откъм точност, щом сложността премине определен праг"

Изследователи от Apple публикуваха силно критична научна статия, която поставя под въпрос способностите за "разсъждение" на най-новите и мощни големи езикови модели (LLMs).

В статията екип от експерти по машинно обучение твърди, че AI индустрията силно преувеличава възможностите на водещите си модели, включително o3 на OpenAI, Claude 3.7 на Anthropic и Gemini на Google.

Изследователите особено остро критикуват твърденията на компании като OpenAI, че най-новите им модели могат да "разсъждават" — способност, на която Сам Олтман и компания силно разчитат в маркетинга си през последната година.

Според екипа на Apple обаче това е просто "илюзия за мислене".

Откритията са особено интересни, като се има предвид, че Apple често е обвинявана, че изостава в AI надпреварата. Компанията избра много по-предпазлив подход към интегрирането на изкуствения интелект в продуктите си за крайни потребители — с доста смесени резултати досега.

Теоретично, "разсъждаващите" модели би трябвало да разбиват потребителски въпроси на части и да използват т.нар. "вериги на мисълта", за да стигнат до логични отговори. Но сега дори най-добрите умове на Apple поставят под съмнение дали тези модели наистина умеят да мислят така, както се твърди.

"Въпреки че моделите показват подобрения при тестове за дедукция, техните основни възможности, свойства при скалиране и ограничения остават слабо разбрани," пише в статията.

Авторите — сред които е и Сами Бенжио, директор на AI и ML изследванията в Apple — посочват, че текущите тестове за "разсъждение" често страдат от замърсени данни и не дават ясна представа за структурата и качеството на логическите стъпки на моделите.

Използвайки контролирани логически пъзели, екипът оценил способността на тези модели да "мислят" — и направил сериозно разобличаващо откритие.

"С обширни експерименти с различни пъзели показваме, че напредналите [модели за дедукция] напълно се сриват по точност, когато се премине определена сложност," се казва в статията.

Заради "контраинтуитивен лимит на скалиране", логическите способности на моделите намаляват, дори когато имат достатъчно "токени" (т.е. ресурси за обработка).

С прости думи — дори при добро обучение, моделите започват да се затрудняват с по-сложни задачи. Това, според авторите, се дължи на феномен, който наричат "премисляне" (overthinking).

Откритието съвпада с по-широка тенденция: последните поколения модели за дедукция все по-често генерират грешки или "халюцинации", което говори, че технологията може би се развива в грешна посока.

Как точно моделите избират как да разсъждават остава изненадващо непрозрачно, установява екипът на Apple.

"Установихме, че LRM моделите имат ограничения в точните изчисления," пише в заключението. "Те не използват ясни алгоритми и разсъждават непоследователно при различни пъзели."

Изследователите смятат, че резултатите им повдигат сериозни въпроси относно реалните разсъдъчни способности на сегашните AI модели — подкопавайки силно рекламираната идея, че сме на прага на "разумна" генеративна AI технология.

И това се случва, въпреки че десетки милиарди долари се наливат в разработката на тези технологии, с гиганти като OpenAI, Google и Meta, които строят огромни дата центрове за все по-гладните за изчислителна мощ AI системи.

Могат ли изводите на изследователите от Apple да са поредният предупредителен сигнал, че технологията е достигнала таван?

Или, както някои предполагат, това е просто опит да атакуват по-успешната конкуренция, докато самите те изостават?

Това е още по-изненадващо, като се има предвид двойнственото положение на Apple в AI индустрията — докато изследователите ѝ критикуват посоката на развитие, компанията вече обяви цял пакет от Apple Intelligence инструменти за iPhone и MacBook.

"Тези наблюдения предизвикват доминиращите представи за възможностите на LRM моделите и показват, че сегашните подходи може би се сблъскват с фундаментални граници в универсалното логическо мислене," се казва в заключението на статията