Организациите, които внедряват модели с изкуствен интелект с отворени тегла (open-weight) върху собствена инфраструктура, може да се наложи сами да осигуряват механизми за безопасност и сигурност, които иначе доставчикът на ИИ би управлявал вместо тях, предупреждават Microsoft и NVIDIA в съвместен доклад относно управлението на рисковете при тези модели.
Моделите с отворени тегла са ИИ модели, чиито тегла — стойностите, които моделът усвоява по време на обучението — са публично достъпни, така че всеки може да ги изтегли, инспектира, модифицира и изпълнява. Моделите със затворени тегла остават при компанията, която ги е разработила, и обикновено достъпът до тях се осъществява чрез онлайн услуга.
„Отвореността на теглата сама по себе си не определя риска на дадена ИИ система“, пишат авторите, добавяйки, че рискът зависи от модела, неговата употреба и защитните мерки около него.
„Моделите с отворени и затворени тегла могат да споделят много от същите основни рискове, но как тези рискове се материализират зависи от начина на внедряване“, заяви Майкъл Сковета, мениджър по осигуряване на сигурността в Microsoft.
Разликата се състои в това кой осигурява контролите за сигурност. Моделите със затворени тегла често идват с вградени предпазни бариери и мониторинг на сигурността от доставчика, докато моделите с отворени тегла често се разпространяват като обикновени файлове. Организациите, които притежават теглата, могат да променят или премахват поведението на безопасност на модела, а защитните механизми, поддържани от доставчика, „вече не могат да бъдат универсално налагани“, се посочва в документа.
„Предприятията трябва да разберат за какво използват модела, какво би могло да се обърка в този контекст и от какви доказателства и механизми за контрол се нуждаят, за да управляват рисковете“, добави Сковета.
Насоките на Microsoft и NVIDIA класифицират рисковете в пет категории (киберсигурност, защита на данните, съдържание, взаимодействие между хора и ИИ, и предразсъдъци) и 30 по-специфични вида риск.
Манипулирани модели
Модел с отворени тегла може да бъде модифициран, препакетиран или преразпространен, преди дадена организация да го получи, поради което мерките за сигурност, добавени от първоначалния му разработчик, може да липсват. Фината настройка (fine-tuning), обединяването или компресирането на модел могат да отслабят вградените му защити, но да оставят производителността му при изпълнение на задачи незасегната, според Microsoft и NVIDIA.
Техният съвет е „да се установи произходът преди поведението“, като се използва криптографско подписване, за да се потвърди, че полученият файл съответства на първоначално публикувания. „Никакво количество поведенчески тестове не може да установи какво представлява даден артефакт, а само как се държи той“, се посочва в доклада. За модели, които идват без електронен подпис, целостта им трябва да се отчита като открит риск.
В скорошно проучване ProjectDiscovery внедри задна вратичка (backdoor) в модела с отворени тегла Qwen2.5-7B-Instruct на Alibaba, използвайки публичен набор от данни и нает графичен процесор (GPU), като при стартиране през Codex CLI на OpenAI моделът предаде идентификационни данни за проекта, веднага щом разпозна своя задействащ механизъм. „Ако даден модел във вашата среда има подобна задна вратичка, почти нищо от това, което използвате днес, няма да го забележи“, пишат изследователите.
„Надеждният ИИ е трудна задача. ИИ системите са уязвими към всички атаки по веригата за доставки, към които е уязвим и обикновеният софтуер“, коментира експертът по киберсигурност Брус Шнайер относно констатациите.
В отделно изследване Pillar Security и Fujitsu Research of Europe показаха, че малки промени във вградената памет на даден модел могат да имплантират трайна задна вратичка. Тяхната атака, наречена BadEngram, е насочена към паметта, която по-новите модели като DeepSeek-V4.1-Flash и Qwen3.8-Flash-Next използват, за да извличат наученото.
В контролиран експеримент модификациите са засегнали около 0,02% от параметрите на модела, а отделен тест е ограничил задната вратичка в рамките на паметта на Qwen3.8-Flash-Next. „Първоначалният разработчик не може да контролира всяко копие или последваща модификация“, отбелязват компаниите.
Доверие и злонамерени файлове на модели
„Доверието е сериозен проблем, тъй като въпреки че са с отворени тегла, те не са с отворен код и тези модели са създадени извън контрола на потребителите. В повечето случаи данните за обучение не се разкриват, липсват гаранции за целостта на процеса на обучение и съществува риск да е била включена специфична фина настройка поради непрозрачни причини“, отбелязват изследователите от F5 Labs в проучване за китайските модели с отворени тегла.
Изследователите откроиха и отделен риск във веригата за доставки. Файловете на моделите често се разпространяват във формат Pickle, който може да изпълнява произволен код при зареждане на ненадежден файл, а атакуващите използват злонамерени файлове с модели, за да скрият изпълним зловреден код. Поради тази причина „сканирането на ниво хранилище не трябва да се третира като гаранция за безопасност“, пишат те.
„Разбира се, моделите с отворени тегла не се ограничават само до китайски източници“, заявяват от F5, посочвайки сред тях Falcon, серията Llama на Meta, моделите Gemma на Google и френския Mistral. „Нито един от тях не е без ограничения в сигурността.“
Мониторинг след внедряване
Проверките, извършени преди внедряването, намаляват проблемите, но не могат да ги елиминират, се отбелязва в насоките. Microsoft и NVIDIA препоръчват да се следят новите варианти на даден модел, промените в хранилищата, които го разпространяват, новите техники за злоупотреба и новодокладваните уязвимости.
Повторното обучение и преразпространението на тегла може да изостава от новите заплахи, поради което на организациите се препоръчва да поддържат многослойни механизми за контрол, които могат да обновяват бързо, като например филтриране на входящите данни, модерация на изходните резултати, ограничения на достъпа, лимитиране на заявките (rate limiting) и човешки надзор. „Тъй като атакуващите могат да действат въз основа на същата информация, предприятията трябва незабавно да оценят въздействието и да ограничат риска“, се допълва в документа.
Документът е първият от планирана поредица от двете компании, като бъдещите доклади ще обхванат системите и приложенията, изградени около моделите. Таксономията на риска се поддържа в GitHub, където всеки може да предложи редакции.