Gemini AI се оказва не толкова добър в обработката на големи количества данни, колкото твърди компанията

Ново изследване поставя под съмнение твърденията на Google относно възможностите на изкуствения интелект Gemini за обработка на големи обеми данни, като показва, че неговата ефективност при анализ на дълги текстове и видеоклипове е значително по-ниска от заявената.

Неотдавнашни проучвания разкриват значителни недостатъци в работата на водещите модели на Google за генеративен изкуствен интелект - Gemini 1.5 Pro и 1.5 Flash, съобщава TechCrunch.

Google многократно е подчертавала способността на Gemini да обработва огромни количества данни благодарение на големия контекстуален прозорец, твърдейки, че моделите могат да анализират документи със стотици страници и да търсят информация във видеоклипове. Две независими проучвания обаче показват, че на практика тези модели се справят значително по-зле с тези задачи.

Изследователи от Масачузетския университет в Амхърст, Института за изкуствен интелект "Алън" (Allen Institute for AI) и Принстънския университет (Princeton University) тестваха Gemini за способността му да отговаря на въпроси относно съдържанието на художествени книги. Книгата, представена за теста, съдържа около 260 000 думи (около 520 страници). Резултатите са разочароващи. Gemini 1.5 Pro отговаря правилно само в 46.7% от случаите, а Gemini 1.5 Flash - в едва 20%. Осредняването на резултатите показва, че нито един от моделите не може да постигне по-висока от случайна точност.

Маржена Карпинска, съавтор на изследването, заяви: "Въпреки че модели като Gemini 1.5 Pro технически могат да се справят с дълги текстове, наблюдавахме много случаи, показващи, че моделите всъщност не разбират съдържанието."

Второто проучване, проведено от учени от Калифорнийския университет в Санта Барбара, се фокусира върху способността на Gemini 1.5 Flash да анализира графично съдъражение, по-конкретно слайдове с изображения. Резултатите също са незадоволителни - от 25 изображения ИИ дава верни отговори само в половината от случаите, а при увеличаване на броя на изображенията точността на отговорите намалява до 30%, което поставя под съмнение ефективността на модела при работа с мултимедийни данни.

Все пак трябва да се отбележи, че нито едно от изследванията не е преминало през процеса на рецензиране, а освен това не са тествани последните версии на моделите с контекст от 2 милиона лексеми. Въпреки това резултатите повдигат сериозни въпроси за реалните възможности на моделите с генеративен изкуствен интелект като цяло и доколко основателни са маркетинговите твърдения на технологичните гиганти.

Изследването идва на фона на нарастващия скептицизъм по отношение на генеративния ИИ. Неотдавнашни проучвания на международната консултантска фирма Boston Consulting Group показаха, че около половината от анкетираните висши ръководители не очакват значително повишаване на производителността от използването на генеративен ИИ и са загрижени за възможни грешки и проблеми със сигурността на данните.

От друга страна, експертите призовават за разработване на по-обективни критерии за оценка на възможностите на ИИ, както и за по-строг контрол и независима критика. Google все още не е коментирала резултатите от тези проучвания.