Британски служители предупреждават организациите за интегрирането на управлявани от изкуствен интелект чатботове в техния бизнес, заявявайки, че изследванията все повече показват, че те могат да бъдат подмамени да изпълняват вредни задачи.

Британският национален център за киберсигурност (NCSC) каза, че експертите все още не са се справили с потенциалните проблеми със сигурността свързани с иновативната технология.

Задвижваните от изкуствен интелект инструменти започват да се използват като чатботове, които някои предвиждат да изместят не само търсенията в интернет, но и работата по обслужване на клиенти и продажби.

NCSC каза, че това може да носи рискове, особено ако такива модели са включени в бизнес процесите на други елементи на организацията. Академици и изследователи многократно са намирали начини да манипулират чатботовете, като им подават измамни команди или ги заблуждават да заобикалят собствените си вградени предпазни огради.

Например, задвижван от изкуствен интелект чатбот, внедрен от банка, може да бъде подмамен да извърши неодобрена транзакция, ако хакер структурира заявката си правилно.

"Организациите, изграждащи услуги, които използват големи езикови модели (LLM) трябва да бъдат внимателни, по същия начин, по който биха били, ако използват продукт или кодова библиотека, която е в бета версия", каза NCSC, като се позовава на експериментални версии на софтуер.

"Те може да не позволят на този продукт да участва в извършването на транзакции от името на клиента и да се надяваме, че няма да му се доверят напълно."