Преди повече от седем години Google направи пробив със своята архитектура за невронна мрежа Transformer, която вече захранва генеративни AI приложения, включително OpenAI - ChatGPT.

Сега, компанията разкри нова архитектура - Titans, която се явява като стъпка към изкуствен интелект, който може да мисли като човек.

Архитектурата Transformer няма дългосрочна памет, което ограничава способността ѝ да запазва и използва информация за дълги периоди от време, въпреки че това е присъща характеристика на човешкото мислене. За разлика от нея, Titans включва невронна дългосрочна памет, краткосрочна памет и система за обучение на основана на „изненада” – хората използват всичко това, за да запомнят неочаквани или много важни събития.

Transformer има нещо като „прожектор” – механизъм, който позволява на AI да подчертава най-важните думи в изречение и фрагменти от набор от данни във всеки един момент, отбелязва Forbes.

„Прожекторът” също присъства в Titans, но работи заедно с огромна библиотека – модул за дългосрочна памет, който е отговорен за съхраняването на важна информация. Този механизъм е подобен на поведението на студент, който може да се върне към бележките, направени в началото на семестъра, вместо да се опитва да запомни всичко наведнъж, пише technews.bg. 

Фокусирането върху съответните подробности и възможността за достъп до съхраненото знание позволява на Titans да обработва огромно количество информация, без да пропуска важни детайли. С интелигентен „показател за изненада”, който помага за приоритизиране на ключови части от данни, Titans превъзхожда съществуващите AI модели при различни задачи, включително езиково моделиране, прогнозиране и моделиране на ДНК. Така новата архитектура доближава AI до механизмите на човешкото познание.

Способността на новия AI да запазва богат контекст ще му помогне да революционизира изследванията, като проследяване на научна литература или откриване на аномалии в огромни набори от данни, в медицината или финансите, защото системата „помни” какво е нормално и подчертава това, което е „изненада”.

Новата архитектура частично възпроизвежда човешките когнитивни процеси – в допълнение към краткосрочната и дългосрочната памет, това е способността да „забравяте” по-малко важна информация и по-точно да приоритизирате. По същия начин хората по-лесно запомнят събития, които нарушават техните очаквания – тази функция ще помогне за създаването на по-фини и зависими от контекста AI системи.

Съвременните системи, базирани на архитектурата Transformer, могат да обработват заявки с контекст до 2 милиона токена, докато Titans остава ефективна над тази граница, поддържайки висока точност с огромни обеми входни данни.

Механизмът на „изненадата” позволява на системата да определи коя информация трябва да бъде записана в дългосрочната памет, като дава приоритет на елементи, които нарушават очакванията. Това не само отразява човешките когнитивни механизми, но се явява ново решение за управление на ограничените ресурси на паметта в областта на AI.

Ранните тестове на системи, базирани на архитектурата Titans, показват обещаващи резултати в редица задачи, като извличане на определена информация от огромни текстове. С увеличаване на дължината на контекста, съществуващите модели показват рязък спад в точността, докато новата архитектура поддържа добро представяне.

Технологията на Titans все още е в начален етап и не са изключени проблеми при внедряването ѝ в практически приложения. Твърде рано е да се преценяват системните изисквания за изчислителни алгоритми, ефективността на обучението и възможните заплахи – всичко това ще стане по-ясно с развитието на технологията.

Освен това, способността на изкуствения интелект да съхранява и оценява информация може да повдигне въпроси относно поверителността, механизмите за обработка на данни и непредсказуемото поведение на AI системите.