По време на първото публично документирано проникване, управлявано от AI агенти, защитниците се опитаха да анализират атаката с търговски AI модели и получиха отказ. Атакуващият не беше ограничен от никакви правила за ползване.
Най-тихо тревожното изречение в разкритието на Hugging Face не беше за атакуващия.
На 16 юли 2026 г. Hugging Face публикува своя доклад за проникване в част от производствената си инфраструктура, ръководено от край до край от автономна система с AI агенти. В секцията за анализ е скрито това, което се е случило, когато екипът им е седнал да разследва. Първоначално те са се насочили към водещи модели зад търговски API. Заявките им са били блокирани.
Причината е проста, след като я изречете на глас. Съдебният анализ на едно проникване означава изпращане на реални команди за атака, работещ зловреден код за експлойт и артефакти от системи за управление и контрол (C&C). За класификатора за безопасност този трафик не се различава от заявка на атакуващ, който иска помощ. Вместо това Hugging Face са извършили анализа с модел с отворени тегла на собствена инфраструктура.
Прочетете тази последователност отново като декларация за риск. Противникът не отговаря пред никаква политика за допустима употреба. Хората, които почистват след него, са тези, на които е било казано „не“.
Това не е аргумент срещу контрола на безопасносттаСправедливо е да бъдем честни за това, защото рефлексивната реакция е погрешна. Hugging Face изрично заявиха, че техният опит не е аргумент срещу мерките за безопасност при хостваните модели и че споделят обратната връзка със съответните доставчици. Това е правилната позиция.
Класификаторите правят това, за което са създадени. В една подкана няма надежден сигнал, който да разграничи специалист по реакция при инциденти, поставящ зловреден код, от оператор, който го подобрява. Проблемът не е в злонамереност или небрежност от нечия страна. Става дума за структурно несъответствие между начина, по който са проектирани тези контроли, и един конкретен случай на употреба с висок залог.
Две неща са верни едновременно. Контролите трябва да съществуват. И вашата способност за реакция при инциденти не трябва мълчаливо да зависи от това те да направят изключение за вас.
Защо това се превърна в проблем за ръководството тази година, а не миналата годинаЗащото подпомаганият от изкуствен интелект съдебен анализ спря да бъде новост и стана носеща конструкция.
Вижте мащаба, в който са работили Hugging Face. Екипът е възстановил проникването от дневник с действия на атакуващия с над 17 000 записани събития, генерирани от рояк от краткотрайни изолирани среди със самомигриращо управление и контрол. Те са използвали управлявани от модели агенти за анализ върху този пълен дневник, за да възстановят хронологията, да извлекат индикатори, да картографират кои идентификационни данни са били засегнати и да отделят реалното въздействие от примамващата активност. Тяхното собствено обобщение е, че това им е позволило да свършат за часове работа, която обикновено отнема дни.
Атаката също така беше открита първоначално от AI, чрез триаж на базата на модели над телеметрията за сигурност, която съпостави сигнали, които иначе биха останали заровени в опашката.
Това е дефиницията за носеща способност. И всяка носеща способност в плана за реакция при инциденти трябва да има тестван алтернативен режим на работа (failover). В повечето организации този режим никога не е бил тестван.
Тук има две уязвимости и втората е по-лошаОчевидната уязвимост е наличността. В средата на активен инцидент, точно в момента, в който скоростта е най-важна, инструментът за анализ, на който екипът ви тихомълком е започнал да разчита, връща отказ. Никой не е планирал това, така че никой няма готов план за действие при тази ситуация, а времето не спира, докато някой ескалира проблема към доставчика.
Уязвимостта, от която вашето юридическо ръководство и това по защита на личните данни ще се интересуват повече, е поверителността. Подканите при съдебен анализ не са изчистени. Те съдържат активни идентификационни данни, вътрешни имена на хостове, клиентски идентификатори, собствена конфигурация и собствените артефакти на атакуващия. Насочването на всичко това към API на трета страна по време на инцидент е решение за трансфер на данни и то се взема в момента от анализатор под натиск, а не предварително от лице с правомощия да го направи.
Hugging Face посочиха това предимство директно. Извършването на анализа вътрешно означаваше, че никакви данни на атакуващия и нито едни от идентификационните данни, към които се реферира, не са напускали тяхната среда.
Повечето организации имат политика, уреждаща какво може да се поставя в търговски модел. Много малко от тях са разписали изключението или забраната, които се прилагат за артефакти на атакуващия по време на разследване на живо. Тази празнина се открива в най-лошия възможен момент.
Асиметрията е структурна, а не временнаПомага да сравним ограниченията едно до друго. Противник, провеждащ кампании с агенти, не е ограничен от правила за ползване, изисквания за съхранение на данни, правни прегледи или цикли за възлагане на обществени поръчки. Те използват какъвто модел работи – хостван или с отворени тегла, с преодолени защити (jailbroken) или не, и не отговарят пред никого за начина, по който го използват.
Защитникът работи под всички тези ограничения едновременно. Това не е дефект в начина на управление на предприятията. Това е цената на това да бъдеш легитимна организация и тя няма да изчезне.
Така че отговорът не е да се разхлабят ограниченията. Той е да се изгради капацитетът вътре в тях, съзнателно и предварително, вместо да се открива празнината по време на инцидент.