Изкуственият интелект на Alibaba може да обработва файлове, да разбира видеоклипове и да управлява компютър

Екипът за изкуствен интелект на Alibaba публикува в GitHub новия си модел Qwen2.5-VL. Той може да изпълнява редица задачи, свързани с текстов и визуален анализ. Това се случва малко след като китайският стартъп DeepSeek публикува своя иновативен AI модел, предизвикал срив в акциите на западните технологични гиганти.

Изкуственият интелект на Alibaba може да обработва файлове, да разбира видеоклипове, да преброява обекти в изображения, както и да управлява компютър - подобно на модела, който захранва наскоро представения Operator от OpenAI.

Според тестовете на екипа на Qwen, най-добрият модел от серията Qwen2.5-VL превъзхожда GPT-4o на OpenAI, Claude 3.5 Sonnet на Anthropic и Gemini 2.0 Flash на Google в редица задачи, включително разбиране на видео съдържание, математика, анализ на документи и въпроси-отговори.

Qwen2.5-VL, който е достъпен за тестване в приложението Qwen Chat на Alibaba и за изтегляне от платформата за AI разработка Hugging Face, може да анализира диаграми и графики, да извлича данни от сканирани фактури и формуляри и да "разбира" видеоклипове с продължителност от няколко часа, според екипа.

Qwen2.5-VL също така разпознава "IP адреси от филми и телевизионни сериали, както и широка гама от продукти", което подсказва, че моделите може да са били частично обучавани с помощта на материали със защитени авторски права.

Една от по-интересните функции на Qwen2.5-VL е способността му да взаимодейства със софтуер - както на компютри, така и на мобилни устройства.

Видео, публикувано в X от Филип Шмид, технически ръководител в Hugging Face, показва как Qwen2.5-VL стартира приложението Booking.com за Android и резервира полет от Чунцин до Пекин.

В друго видео моделът Qwen2.5-VL управлява приложения на Linux десктоп, но изглежда не постига много повече от смяна на табовете. Може би показателно е, че според тестовете на Qwen, моделът Qwen2.5-VL се представя слабо на OSWorld - бенчмарк, който имитира реална компютърна среда.

Двата по-малки и по-малко сложни модела от серията Qwen2.5-VL, Qwen2.5-VL-3B и Qwen2.5-VL-7B, са достъпни с отворен лиценз. Водещият модел Qwen2.5-VL-72B обаче е под специален лиценз на Alibaba, който изисква компаниите и разработчиците с повече от 100 милиона месечни активни потребители да получат разрешение от Qwen/Alibaba, преди да използват модела за търговски цели.

Междувременно, DeepSeek публикуваха нови AI модели за изображения, за които се твърди, че изпреварва DALL-E 3 на OpenAI. Любопитното е, че те могат да се ползват за търговски цели без ограничения.