Инструментите и процесите за проверка на сигурността не са проектирани с оглед на слабо познати AI услуги, според TrendAI.
Dive Brief:
- Нишовите AI инструменти създават сериозни опасности за киберсигурността на организациите от критичната инфраструктура, които ги използват, се казва в скорошен доклад на компанията за сигурност TrendAI.
- Тези AI инструменти често се произвеждат от доставчици, които не са били подлагани на значителен преглед на сигурността, което прави трудно да се разбере колко добре са защитени техните продукти, според TrendAI.
- Докладът на фирмата разглежда подробно и редица други вектори на заплахи в AI индустрията, включително уязвими доверени връзки и незащитена основна инфраструктура.
Dive Insight:
Чрез сканиране на публичния интернет на 21,6 милиона URL адреса и 4,6 милиона устройства, TrendAI идентифицира 43 175 AI-свързани услуги, използвани в 25 индустрии. От тези услуги TrendAI класифицира 2 457 като „нишови“, което означава, че се появяват в не повече от 10 случая общо в само един или два сектора. Докладът също така посочва 1 468 услуги, използвани само от един сектор.
Фактът, че толкова много услуги се използват толкова тясно, е „знак, че общите AI платформи възможно да не успяват да отговорят на специфичните изисквания на отделните сектори“, заявява TrendAI в доклада си.
Въпреки че тези специализирани AI продукти могат да отговорят на важни нужди на организациите от критичната инфраструктура, тяхната неизвестност може да ги превърне в бомби с закъснител за киберсигурността. Разработчиците на тези инструменти „може никога да не са преминавали през стандартен преглед за управление на AI“, казва TrendAI, тъй като инструментите и методологиите за оценка на риска от AI, включително Cloud Access Security Broker продуктите, са проектирани да проверяват водещи на пазара AI продукти от големи лаборатории.
Тези контроли за достъп и процеси за проверка, според TrendAI, не са проектирани за неизвестни AI инструменти като тези, идентифицирани от компанията, които включват платформа за правни изследвания, услуга за откриване на измами във финансовия сектор и инструмент за медицинска документация.
Докладът препоръчва операторите на инфраструктура, които използват нишови AI инструменти, да предприемат няколко стъпки за гарантиране на тяхната сигурност, включително разширяване на усилията за инвентаризация извън основните доставчици. Компаниите трябва също да приоритетират прегледите на AI инструменти въз основа на чувствителността на данните, до които имат достъп, и степента на регулаторна експозиция, която грешка би могла да причини, вместо въз основа на размера на доставчика или неговия публичен профил. Също така, от TrendAI посочват, че инструментите за мониторинг на сигурността трябва да „оценяват API трафика и интеграциите на трети страни поне толкова сериозно, колкото и използването на AI през браузър“, за да се избегне пропускането на активност от нишови инструменти.
Освен нишовите инструменти, докладът на TrendAI изброява и редица други рискови фактори. Един от тях е лошото качество на мерките за сигурност, защитаващи Model Context Protocol сървърите, които действат като хъбове, свързващи AI агенти с други ресурси на организациите. TrendAI установи, че много MCP сървъри са „открити, грешно конфигурирани, преизползвани и третирани като доверени, сякаш са обикновени инструменти за разработчици“.
„Тази експозиция създава преки пътища за достъп; тайни в чист текст и облачни интеграции могат да превърнат тези пътища в риск на ниво акаунт“, пишат изследователите. „Уязвимостите в хранилищата създават верига от уязвимости във веригата на доставки, а кодът, генериран с помощта на AI, може да въведе технически дълг в качеството, когато прегледът не изостава. Освен това, сигналите за доверие в магазините за приложения могат да разпространяват приемането им без да предлагат реално уверение.“
Докладът описва и други ключови рискови области за AI, включително уязвимости в откритата AI инфраструктура (като публично достъпни AI engines за извеждане на заключения, работещи със стари, неотстранени уязвимости), липса на внимание към сигурността на контролната равнина на LLM (което би попречило на злонамерени субекти да използват нерегламентирани команди за заобикаляне на защитните механизми), прекомерно доверие в екосистемата (което хакерите могат да използват чрез заразяване на пакети с отворен код) и факта, че старите модели за сигурност не са подходящи за агентско поведение, където акцентът върху сигурността трябва да бъде върху „най-малък агентски достъп“ в допълнение към „най-малко привилегии“.