От програмата CVE до автономите хакове, всички са притеснени за следващата еволюция на технологията.
- Споделяне
- Лиценз
- Добавете ни в Google
Ако миналия месец се разхождахте по коридорите на конференцията за киберсигурност Black Hat USA в Лас Вегас, трудно щеше да дочуете разговор, който да не беше свързан с изкуствения интелект (ИИ).
От пробиването на изолираните среди от модели на OpenAI и Anthropic до безпокойството от китайски модели с отворен код, опасенията, надеждите и очакванията от ИИ доминираха в разговорите в индустрията за киберсигурност на Black Hat. OpenAI сподели нови подробности за своя инцидент с хакване, аналитиците спореха за баланса между регулация и иновации, а висши държавни служители обясниха плана си за защита на страната от неконтролируеми или небрежно използвани ИИ модели. Всеки искаше да разбере как ИИ ще засегне неговия бизнес или неговия сектор от критичната инфраструктура, а малко хора имаха ясни отговори.
Тъй като заплахите и възможностите от ИИ се развиват, технологията преобръща основни институции в киберсигурността и принуждава хората зад тях да се адаптират. Най-добрият пример е програмата CVE — основата на глобалното разкриване, анализ и отстраняване на уязвимости. Програмата се бори с лавина от доклади за уязвимости, генерирани от ИИ, недостиг на персонал за анализиране на докладите и траещо недоверие от близка заплаха от финансова катастрофа. Някои експерти вярват, че ИИ може да улесни отстраняването на уязвимости чрез програма като новия център за обмен на информация на администрацията на Тръмп. Други обаче се опасяват, че той ще създаде повече проблеми, отколкото ще реши.
В най-новия епизод от нашата поредица Reporters’ Notebook, старши репортерът на Cybersecurity Dive Ерик Гелър дискутира фиксацията на индустрията върху ИИ на Black Hat с Беки Бракън от Dark Reading и Алиса Ирей от TechTarget Cybersecurity.
Гледайте видеото по-долу или превъртете след него, за да прочетете транскрипцията, която е редактирана за дължина и яснота с помощта на вътрешен асистент с ИИ.
Алиса Ирей от TechTarget Cybersecurity: Добре дошли отново в друг епизод на Reporters’ Notebook. Аз съм Алиса Ирей, старши редактор на сайта TechTarget Cybersecurity, и съм тук с Ерик и Беки. Ще ви оставя да се представите.
Ерик Гелър от Cybersecurity Dive: Здравейте, аз съм Ерик Гелър, старши репортер в Cybersecurity Dive.
Беки Бракън от Dark Reading: Аз съм Беки Бракън, старши редактор в Dark Reading, и се радвам да съм тук с вас.
Алиса Ирей от TTC: Тук сме, за да разговаряме за Black Hat, където всички бяхме в прекрасния, прохладен и умерен Лас Вегас, и две букви, съвсем очаквано, бяха в съзнанието на всички: ИИ, ИИ, ИИ. Какво видяхте и чухте по отношение на изкуствения интелект тази година?
Ерик Гелър от CD: Ами за мен имаше няколко големи теми. Първата беше, че има голямо безпокойство за това какво ще се случи с програмата CVE, която присвоява номера на уязвимостите и проследява екосистемата на уязвимостите от десетилетия насам. Има сериозно безпокойство отново какво се случва в ерата на ИИ, когато хората използват тези инструменти за откриване на грешки и ги докладват със темп, който е напълно невиждан досега. Мисля, че вероятно най-често срещаната тема за сесиите, на които присъствах, беше програмата CVE, като хората говореха за нея от всички възможни ъгли, включително: Трябва ли да реформираме програмата, така че тя да може да се справи с наплива от доклади за уязвимости, който виждаме в момента?
И бих казал, че имаше смесени мнения. Има хора, които казват, че програмата може да се разшири. Тя се е разширявала и в миналото, например когато фазингът (fuzzing) стана популярна техника и хората започнаха да намират много повече грешки благодарение на него. А има и други хора, които казват, че това е категорично различно и че ни е необходим различен подход за каталогизиране на уязвимостите, защото ще виждаме все повече от тях и много от тях ще бъдат неточни, защото ИИ инструментът ще халюцинира грешка там, където такава не съществува, или ще я опише лошо. Нуждаем се от нов начин за справяне с докладите за грешки в ера, в която толкова много от тях идват от автоматизирана система. Така че това трябва да е едно от основните неща за мен.
А другото беше управлението. И имам предвид това най-вече в контекста на политиките. Нямаше много хора от правителството, висши служители, но малкото хора, които бяха там, наистина подчертаха, че правителството в момента вярва, че ИИ може да бъде оставен най-вече да се управлява сам, но те ще наблюдават, за да се уверят, че няма да имаме криза, породена от наистина мощен инструмент, който излиза извън контрол и прави нещо наистина лошо. И разбира се, всички тези разговори се случват на фона на разкритията на OpenAI и Anthropic за това как техните модели са станали неконтролируеми, избягали са от тестовите си среди и са хакнали реални организации.
Бих казал, че една от най-интересните сесии беше беседата на OpenAI, където те повдигнаха завесата малко за това какво се е объркало. Така че политиката и управлението на ИИ бяха огромна тема, като правителството основно казваше: „Засега няма да се намесваме много, но ще наблюдаваме, за да се уверим, че нищо няма да се обърка.“
Алиса Ирей от TTC: И Ерик, искам да отбележа, че в една от твоите статии имаше цитат, който ми хареса много. Мисля, че разговаряше с някого от федералното правителство за това, че правителството няма да ви позволи да създадете фабрика за Терминатори. Правилно ли спомням?
Ерик Гелър от CD: Да, това беше по време на въпросите и отговорите, когато попитах в края на една от панелните дискусии дали има причина да се смята, че правителството ще се намеси, защото досега администрацията прилага много ненатрапчив подход. И този представител от Министерството на вътрешната сигурност основно каза: „Точно така, ние прилагаме ненатрапчив подход, но в същото време ясно заявихме на индустрията, че няма да ви позволим да построите фабрика за Терминатори.“ И помислих, че това е много ярък и въздействащ цитат.
Алиса Ирей от TTC: Но след това мисля, че продължи с въпроса как правителството предотвратява фабрика за Терминатори? И знаете ли, има добри причини те да не са прозрачни за това, но изглеждаше двусмислено. Отговорът изглеждаше двусмислен. Така че предполагам, че това е оставащ въпрос: Какъв е механизъмът за предотвратяване на Терминатор, раждането на Терминатори сред нас?
Ерик Гелър от CD: И в момента те наистина нямат добър отговор.
Беки Бракен от DR: Имаше едно проучване, което в известна степен се опита да отговори на този въпрос. И това беше от Фред Хайдинг и Крис Инглиш, който беше бившият директор на NSA. И те представиха... Фред Хайдинг е проучвал много как държавите се справят с тези заплахи през годините. А Крис Инглиш очевидно носи дълбока експертиза от правителството. И те представиха рамка. И има дискусии по този въпрос, но както казвате, те все още са доста неясни, но наистина улавят основите на това от какво хората смятат, че правителството трябва да предпазва. Ще бъде интересно да се види как ще се развие.
Алиса Ирей от TTC: Друго нещо, което сметнах за интересно от тази сесия на OpenAI, беше, че един от хората от OpenAI каза, че възможностите на AI трябва да... помагат на защитната страна повече, отколкото помагат на атакуващата страна. Но отново въпросът е как, защото изглежда, че, знаете ли, атакуващите имат много предимства, дори преди AI, срещу киберзащитниците. По-лесно е да се атакува, отколкото да се защитава. Така че това също е малко тревожно, предполагам.
Ерик Гелър от CD: Да, и помислете за факта, че служител на OpenAI, най-голямата AI компания, казва: „Ако не гарантираме, че защитата се ползва с повече предимства от атаката, значи се проваляме като индустрия. Това е неустойчиво.“ Помислете за факта, че човекът, който казва това, работи за компания, която води в тази неустойчива индустрия. Има огромно разминаване между това, което казват служителите на предната линия, и това, към което главните изпълнителни директори всъщност насочват компаниите си, поне в момента.
Алиса Ирей от TTC: И има напрежение между, знаете ли, на обществено ниво, което виждаме с федералното правителство. Изглежда, че това напрежение между разрешаването на иновациите и също така управлението на риска, което виждаме на корпоративно ниво, се разиграва в цялата индустрия, както и в цялото ни общество и нашата нормативна рамка.
Беки Бракен от DR: Не успях да присъствам на самата сесия на OpenAI, но започнах от бюрото за новини на [Dark Reading], където бях разположена. Получих вълните от идващи експерти и умовете им бяха поразени от това поради няколко причини. Първо, колко открити бяха относно голяма част от разузнавателната си информация. Но искам да кажа също, че от защитната страна бяха предложени някои наистина конкретни решения на този въпрос, който задавате.
Не искам да го объркам. Ед Скудис от SANS е голям привърженик на нещо, наречено VulnOps, което взема SecDevOps и го прилага към управлението на уязвимости, което според мен е път напред към ускоряване на инсталирането на корекции за сигурност в ерата на AI. А Хедър Барнхарт, също от SANS, говори за тази необходимост от забавяне на атакуващите AI агенти. И изследовател на име Джейк Уилямс, който е редовен сътрудник и източник за мен, току-що публикува нещо, наречено рамка за попечителство (custody framework). Това е нова рамка, достъпна за всеки, и тя е специално създадена, за да държи AI агентите в тяхната среда.
Знаете ли, традиционните защити са проектирани около това да държат лошите неща отвън. Така че това са само няколко различни начина, по които се атакува този проблем, но има голям акцент от това, което чух — защото зададох същия въпрос. Ами сините екипи (blue teaming)? Не чувам за това. И аз съм като: „Не, сега са лилави екипи (purple teaming)“, но не мислете, че нещо от защитните неща е било пренебрегнато по какъвто и да е начин. Така че това са само малка част от нещата, които дочух.
Алиса Ирей от TTC: Едно нещо, което беше интересно, направих обиколка на NOC и разговарях с двама различни момчета.
Беки Бракен от DR: Vidiah твоята страхотна статия за това също. Беше чудесна.
Алиса Ирей от TTC: Благодаря ти. И така, те казваха, знаете ли, очевидно използват AI за случаи на защита по наистина интересни и иновативни начини. Но по отношение на управляваните от AI атаки, изглежда, че това, което виждат в момента, е, че управляваните от AI атаки са наистина шумни, наистина забележими, те наистина — имат субтилността на камион, което е чудесно за защитниците.
И това повдига няколко въпроса. Предполагам, че единият е: всички ли търговци на изложбения под, които продават продукти за защита срещу AI атаки, решават проблем, който не съществува? Но след това, разбира се, другият въпрос е колко бързо се променя това на терен? Също така говорих с изследовател на заплахи от ServiceNow, който каза, че през последните две седмици са започнали да виждат тихи, бавни и незабележими (low-and-slow) AI атаки. Така че има няколко противоречиви, знаете ли, разказа или преживявания там.
Но ми е любопитно за типичната организация, получихте ли представа за това, знаете ли, от една страна имаме тези инциденти с авангардни модели (frontier models), поради липса на по-добра дума, ситуацията с OpenAI и т.н. Но след това колко притеснени мислите, че са или трябва да бъдат CISO по отношение на действителни реални AI атаки? Някой от вас получи ли представа за това на изложбения под, по време на сесиите или по друг начин?
Беки Бракен от DR: Зададох този въпрос в почти всички мои интервюта. Това е конкретно за това, което казахте за хайпа и решаването на проблем, който не съществува. И много земните, много технически и практични хора, които уважавам, казват, че наистина няма значение колко от това е хайп и колко не е. Защото ако е реално, това все пак е нещо, с което трябва да се съобразите. Би ли се съгласил с това, Ерик?
Ерик Гелър от CD: Да, мисля, че голяма част от разговора за заплахите не успява да разграничи това, което е вероятно да изпитате, от това, което бихте могли да изпитате при най-лошия сценарий. Наистина мисля, че има начини, по които AI може да позволи на хора, които нямат сложни инструменти или много опит, да правят наистина опасни неща, които преди не са могли да правят.
Но въпросът е, че за средностатистическата организация, която вероятно има много пароли по подразбиране, много публично достъпна инфраструктура с може би никакви пароли, дали изобщо ще си правят труда да използват някаква изтънчена способност на изкуствения интелект, за да влязат във вашата мрежа? И обикновено отговорът е не. Помислете колко от водоснабдителните дружества, които бяха хакнати наскоро, използваха незащитена публично достъпна инфраструктура години след предупрежденията как трябва да откачите тези неща от интернет.
Човешките грешки, които оставят тези прости слабости разкрити във вашата организация, са точно там, за да бъдат експлоатирани от хакери, които нямат нужда да използват изкуствен интелект. Така че колкото и тези инструменти да могат да правят наистина мощни неща, всеки автор на заплаха иска да направи възможно най-простото нещо, ако може. И обикновено възможно най-простото нещо е лесно достъпно за тях под формата на парола по подразбиране. Не е нужно да прибягват до изкуствен интелект.
Мисля, че това е като да мислите за вашия модел на заплахи. Ако сте изпълнител в сферата на отбраната, трябва да мислите за тези наистина сложни техники, базирани на изкуствен интелект, и може би те ще намерят уязвимост, която човек никога не би намерил. От друга страна, ако сте средностатистическа компания или дори голяма компания от Fortune 500 с огромен брой различни подразделения по целия свят, има голяма вероятност най-голямата ви слабост да няма нищо общо с изтънчена уязвимост, която изкуственият интелект може да открие, и да има много повече общо с парола по подразбиране, която всеки може да се опита да експлоатира.
Алиса Ирей от TTC: Това е чудесен аргумент. Да. Един от момчетата в NOC всъщност, когато TechTarget Cybersecurity направи обиколката и след това поддържаше контакт с тях, каза, че е имало организация от Fortune 500, която е настроила MCP сървър, за да разгърне своите вътрешни случаи на употреба на изкуствен интелект. Те не бяха защитили MCP сървъра с никакъв вид авторизация. В резултат на това той просто стоеше отворен там, предаващ своя токен в явен вид.
Те седяха в NOC и казаха, че са имали пълен достъп до пълния им стек за сигурност. Можеха да изтрият всичко. Шегуваха се, че са могли да се намесят и да помогнат с управлението му, което, нали знаете, щеше да е мило. Но това, към вашия аргумент, мисля, че е просто стар проблем с по-висок залог.
Ерик Гелер от CD: Точно така. Искам да кажа, че това наистина е чудесен пример, защото в този случай провалът беше традиционен провал в сигурността при настройката на контролите. Просто се случва така, че провалът е свързан с инструмент с изкуствен интелект, което означаваше, че ако влезете, бихте могли да нанесете много повече щети, защото компанията е свързала инструмента с изкуствен интелект с всичко останало по начин, по който другите технологични платформи, в по-голямата си част, с изключение може би на вашата база данни за идентичност, обикновено не са толкова широкообхватни в цялата ви организация. Но сега всеки иска да свърже своите инструменти с изкуствен интелект с всичко.
Което означава, че ако имате традиционен провал в управлението на сигурността, той е много по-опасен, ако имате този провал с инструмент с изкуствен интелект. Но това не е риск от изкуствен интелект сам по себе си. Това е традиционен провал в сигурността. Това не е провал на изкуствения интелект.
Беки Бракън от DR: И всички мерки за отстраняване изглежда са все същите стари неща, нали знаете. Инвентаризация на активите, нали знаете, сегментация. Това са основите. Основните неща изглежда не се променят независимо от намесата на изкуствения интелект.
Алиса Ирей от TTC: Което е добре и зле, защото основното — ние знаем как работят основните неща, знаем как трябва да изглежда, но лошата новина е, че основните неща са трудни и, нали знаете, аз не — мисля, че беше рядка организацията, която наистина бе овладяла основните неща преди изкуствения интелект.
Беки Бракън от DR: Но това е толкова добър пример за предишния ви въпрос, където понякога пейзажът от доставчици кара всички да избързват прекалено много, нали знаете, разглеждайки всички тези сложни неща, когато истината е, че една честна оценка на това какво всъщност имат в мрежата си вероятно би била най-доброто. Нали знаете, хората обикновено не са готови за пен тест, те са готови за симулация, нали знаете. Така че мисля, че това си струва да се има предвид тук.
Някой видя ли наистина готини рекламни материали? Бих искала да поговорим за рекламните материали, докато имаме секунда, защото наистина ми хареса ситопечата по поръчка, който всички предлагаха. Мислех, че това е страхотно.
Видях един автомобил от Формула 1, което беше разочароващо, защото обикновено има поне три или четири. Така че, нали знаете, в трудни времена сме.
Ерик Гелер от CD: Да. Мислех, че залата на доставчиците за пореден път беше невероятно странно изживяване за някой, който не участва в закупуването на никоя от тези технологии. Фактът, че всички тези компании могат да бъдат в бизнеса, поне за момента, все още ми отвява главата.
Беки Бракън от DR: Видяхте ли щанда на Oak? Това беше този, който мислех за хитът на изложението. Изглеждаше като истинско дърво. Беше истинско. Беше страхотно. Някой сигурно е похарчил състояние, но —
Алиса Ирей от TTC: Някой видя ли кози?
Ерик Гелер от CD: Чух, че е имало кози; аз не видях кози.
Беки Бракън от DR: Вероятно щяхте да ги помиришете, ако бяха вътре обаче.
Алиса Ирей от TTC: Това е вярно. Може би са били непоканени. Не са точно тип гости за Mandalay Bay.
Беки Бракън от DR: Както и да е, беше наистина хубаво да ви видя и двамата в Лас Вегас и със сигурност беше хубаво да имаме възможност да се настигнем днес.
Ерик Гелер от CD: Да, определено.
Беки Бракън от DR: Е, да кажем ли на хората къде могат да продължат да намират нашата работа?
Ерик Гелер от CD: Ами, що се отнася до мен, можете да следите цялото ни отражение в Cybersecurity Dive.
Алиса Ирей от TTC: И можете да следите работата на TechTarget Cybersecurity.
Беки Бракън от DR: И както винаги, Dark Reading е мястото, където ще намерите мен и моите колеги. Така че, моля, вижте ни.