В това интервю за Help Net Security Фредерик Бъл, отговорник по сигурността (Security Officer) в Gremlin, разговаря за това какво означава изкуственият интелект (ИИ) за екипите по сигурност. Разговорът обхваща защо въпросът с какви данни е обучен даден модел е само част от цялостната картина и защо най-ниските привилегии и контролът на достъпа продължават да са от решаващо значение за ИИ агентите.
Интервюто разглежда също така как изкуственият интелект е намалил пропастта в уменията между атакуващите и защитниците, как екипът е обработил около девет пъти повече уязвимости със същия персонал и защо назначаването на нови служители вече фаворизира хора с опит да засичат уверени, но погрешни резултати от ИИ.
Въпросът, който чувам по-често от всеки друг, е: „С какви данни е обучен този модел?“. Основното притеснение, което стои зад това, е поверителността. Компаниите искат да гарантират, че тяхната интелектуална собственост няма да стане част от общите познания на ИИ. Това е основателно притеснение и би било глупаво да се твърди обратното, но спирането дотук оставя пропуски в истинския многослоен подход към сигурността.
Значително по-рядко задаван въпрос е: „Как поддържате авторитета и целостта на въпросните данни?“. А ние имаме ясни отговори. В продължение на много години принципът за най-ниски привилегии (Least Privilege), постигнат чрез контрол на автентификацията и достъпа, остава от първостепенно значение за осигуряването на защитени среди и продължава да бъде такъв. Технологии като базиран на сесии RBAC чрез OIDC/OBO и подходящ обхват на разрешенията според контекста гарантират, че ИИ средите не надвишават очакваните от тях възможности. Това е било краеъгълният камък на корпоративните програми за сигурност в продължение на десетилетия и е също толкова уместно и днес.
Чрез продължаващото прилагане на модерни решения като базиран на сесии RBAC и съобразени с контекста разрешения можем да гарантираме, че ИИ агентите никога няма да надвишат техническите си възможности. Тъй като комуникациите между агенти стават все по-разпространени, тези стратегии осигуряват по-строги архитектури с участието на човек („human-in-the-loop“), гарантирайки, че операторите са в състояние да разпознаят и коригират проблеми, преди да настъпят щети.
Не искам да омаловажавам значението на увеличената скорост. В крайна сметка точно така се проявява този риск в реалния свят, а скоростта е от първостепенно значение. Дори правителствените групи атакуващи (state actors) се състезават с времето да открият и експлоатират уязвимости, преди другите да открият дефектите. Виждаме рязко увеличение на докладването на уязвимости през последната година, като NVD трябваше да пренареди приоритетите на класификациите, оставяйки голям брой докладвани уязвимости некласифицирани. Те просто не могат да се справят с увеличения обем от доклади.
Механизмът зад повишения риск обаче не е просто скоростта, а ерозията на асиметрията във възможностите, от която секторът на киберсигурността исторически се е възползвал. За да се открият условията, позволяващи експлоатация, да се проектира и тества този експлойт и да се приложи, обикновено се изискваха сериозни умения и/или експертен опит. Изкуственият интелект доближи тази асиметрия много по-близо до изравняване.
Не само че тези контексти, подлежащи на експлоатация, могат да бъдат намерени по-бързо, но и методът за използването им може да бъде разработен и приложен от хора, които иначе нямат съответните умения, и все по-често — по-бързо от тези с уменията. Това ще продължи да бъде все по-значим фактор с увеличаването на контекстните данни, които ИИ получава, и с подобряването на моделите при разпознаването на тези модели. Ако изключим външните фактори, като държавния контрол, е напълно възможно да се постигне симетрия и въпросът да се превърне в такъв от човешко естество. По същество въпрос за това колко голям е червеният екип (атакуващите) в сравнение със синия (защитниците).
Кадровото осигуряване винаги е спорна тема и това едва ли ще се промени, но не смятам, че броят на служителите е отговорът на рисковете, управлявани от ИИ, които виждаме. Тук, в Gremlin, през последната година обработихме малко над 9 пъти повече уязвимости в сравнение с предходната, като същевременно запазихме същото ниво на персонал за периода. Това със сигурност остави празнина в нашия процес. Използвайки ИИ инструменти, предимно LLM и поддържащи среди, успяхме да се справим с това увеличение без допълнителен персонал, като същевременно намалихме нашето TTR с малко над 5%.
Не беше лесно да се постигне тази производителност при такова голямо увеличение на обема и трябваше да реагираме за сравнително кратко време. Изискваха се опитни инженери, които да проектират системата за постигане на това, оползотворявайки това, което ни предоставят LLM, и да поддържат актуалността с развитието на тези системи. Но възприемайки същите тези инструменти, които използваха нашите противници, и инвестирайки в инфраструктура около тях, досега виждаме успех.
Да, и не мисля, че това ще бъде изненада. Настоящите ИИ системи са доста способни да произвеждат резултати на нивото на много анализатори и инженери на начално ниво и най-често се нуждаят само от опитен оператор, който да разпознае уверено погрешните резултати и да ги коригира. Това изисква широк набор от познания и опит не само с различни технически системи, но и с изискванията за съответствие и управление, които движат много програми за сигурност. Това вдига летвата за всички таланти и създава пропаст, в която за новите кадри е все по-трудно да придобият опита, необходим за ефективна работа с тези ИИ системи.
Съществува и генерално притеснение относно поколенческата обработка и потенциала за срив на модела (model collapse), когато по-голямата част или всички входни данни в ИИ системите са генерирани от самите ИИ системи. Подобно на необходимостта от генетично разнообразие в дадена популация, LLM се нуждаят от разнообразие на входните данни, което днес изисква човешка курация. В момента мислим за това като за отделни проблеми — проблем с работната сила и проблем с данните. Ако обаче погледнем исторически, именно чрез човешкия труд се осигуряваха нови данни за системите, а изглежда, че го минимизираме във време, когато може да ни е най-необходим.
Мисля, че въздействието върху сигурността на ниво приложения е вълнуващо. То ни позволи да преместим въпросите по сигурността много по-рано в SDLC процеса, като ИИ извършва оценка спрямо подбран списък от критерии и политики, извеждайки притесненията и давайки насоки в реално време, а не в някой блокиращ период на преглед. Това позволява на разработчиците да пропонират и внедряват решения с преглед от специалисти, като често се избягва необходимостта от допълнителни изисквания за архитектура и дизайн, които да се връщат обратно по веригата към разработчиците.
Вече не чувствам, че играя игра на догонване, за да съм в крак с промените. Много основни задачи, за които преди разчитахме на външни екипи за разработка, сега са вътрешни странични проекти за моя екип, защото с известен изричен преглед знаем, че „LLM може да направи това вместо нас“, което прави значителна разлика в нашето темпо.