Равносметката след случая с Hugging Face: Автономният атакуващ вече е тук

Бил Робинс, главен изпълнителен директор на Menlo Security

Изкуствен интелект (ИИ) излезе от изолираната среда, създадена да го ограничава, и се озова в глобалната мрежа. След това атакува друга компания.

Атаката не беше извършена от човек. Вместо това ИИ агентът самостоятелно избра и изпълни следващите си действия, без да е необходимо човек да му дава команди в реално време.

Компанията OpenAI разкри, че два от нейните модели, работещи в рамките на вътрешен тест, автономно са преценили, че пробиването на инфраструктурата на трета страна е най-бързият начин за изпълнение на възложената им задача.

Мишената беше Hugging Face – компания, която се занимава професионално с разработване на изкуствен интелект. Нейният екип регистрира над 17 000 автоматизирани действия в системите си в рамките на един-единствен уикенд и вече беше потърсил съдействие от правоприлагащите органи, преди някой изобщо да разбере, че зад това стои авангарден модел от ново поколение.

Това е сценарият, за който екипите по сигурността предупреждават отдавна. Атакуващият, който разсъждава самостоятелно за постигане на целта си и действа с машинен темп, вече не е хипотетична заплаха от презентация на конференция.

Той е напълно функционален и току-що демонстрира възможностите си срещу компания, която знае как да се защитава. Щом Hugging Face може да бъде пробита по този начин, никой екип по сигурността не може да приеме, че това няма да се случи и на тях.

Това не беше случай, при който на ИИ агент е подаден компрометиран документ, каращ го да се обърне срещу собственика си. Пробивът използва познати методи, развиващи се с непозната досега скорост. Моделите откриха zero-day уязвимост, за да излязат от изолираната среда, след което използваха откраднати идентификационни данни, за да отворят път за отдалечено изпълнение на код към сървърите на Hugging Face.

Ако някой доставчик твърди, че продуктът му би спрял безпроблемно тази конкретна атака, това твърдение заслужава сериозно съмнение. Самият експлойт в случая е почти без значение.

Имало е изолирана среда, което означава, че OpenAI не са оставили тези модели свободни. Те са създали граница, която да ги ограничава, но способният ИИ агент е открил дефект и е излязъл навън.

Екипите по сигурността трябва да приемат, че всеки ИИ агент, който внедряват, в крайна сметка ще тества границите около себе си и ще открива пропуски по-бързо, отколкото хората могат да отстраняват уязвимостите.

Докато защитниците успеят да забележат, че нещо не е наред, ИИ агентът вече е достигнал до една от най-големите платформи за разработка на ИИ в света, получавайки достъп до Hugging Face чрез откраднати идентификационни данни и некоригирана уязвимост за отдалечено изпълнение на код.

На човек, изпълняващ подобен сценарий, биха му отнели дни и вероятно би задействал аларма по пътя. Този агент извърши десетки хиляди действия в рамките на един-единствен уикенд. Срещу толся бърз противник инсталирането на корекции за сигурност се превръща в състезание, което защитниците е малко вероятно да спечелят.

Първата стъпка за спиране на атакуващия е да се ограничи това, до което той изобщо може да достигне. Премахнете приложенията от отворената, пряко достъпна мрежа, така че откраднатите идентификационни данни и некоригираната уязвимост никога да не се комбинират в лесна за достигане цел.

В ерата на изкуствения интелект защитата на едно приложение трябва да означава нещо повече от бързо отстраняване на уязвимости. Тя означава да се гарантира, че атакуващият изобщо не може да достигне до приложението.

След това помислете за ИИ агентите, които самите организации внедряват. Екипите по сигурността не могат да приемат, че даден агент винаги ще остане в рамките на зададените му граници.

Случаят с Hugging Face е напомняне, че автономните системи могат да откриват неочаквани пътища към своите цели. Отговорът е да се управлява това, което агентът може да прави, а не просто да се надяваме, че той ще се държи прилично.

Неговото изпълнение трябва да бъде изолирано, така че евентуално излизане от средата да не достигне до нищо ценно. Изходящите връзки трябва да останат затворени по подразбиране и да се отварят само към одобрени дестинации.

Всяко действие трябва да се записва в момента на извършването му, така че нищо от това, което прави агентът, да не остане скрито за организацията, която го контролира. Това е идеята зад концепцията, която наричаме Доверена среда за изпълнение на агенти (Trusted Agent Runtime).

Тя започва с едно предположение, което остава в сила пред лицето на автономния противник: ИИ агентът трябва да бъде управляван и контролиран.

Ерата на автономния атакуващ не предстои – тя вече е тук, и той може да се движи по-бързо от всяка реакция, която човек може да организира срещу него.

Това превръща задачата в архитектурно ограничаване: приложение, до което атакуващият не може да достигне, и ИИ агент, който не може да се изплъзне извън определените за него граници. И двете са решения, които организациите трябва да вземат преди инцидента, а не след него.

ИИ агентите навлизат в производствените среди на компаниите сега, разполагайки с реални идентификационни данни и реален достъп, като често работят в рамките на мерки за сигурност, проектирани за софтуер, който прави точно това, което му се каже.

Организациите трябва да решат как ще ограничават тези системи, преди да бъдат принудени да научат отговора по трудния начин.