Служителите, които въвеждат фирмени данни в инструменти с изкуствен интелект, притесняват екипите по сигурност повече, отколкото атаките, задвижвани от AI.
Най-обезпокоителни рискове, свързани с AI агенти (Източник: O’Reilly)
Генерираният от изкуствен интелект фишинг, който е най-често срещаната атака в практиката им, е сред основните притеснения само за една четвърт от 209-те специалисти по сигурност, анкетирани от O’Reilly през септември.
Майк Лукидес, вицепрезидент по съдържателна стратегия в O’Reilly Media, смята, че страхът от заличаване на човечеството от AI отвлича вниманието от вредите, които се случват в настоящия момент. „Нямаме нужда от паника. Имаме нужда от оценка на реалната ситуация: какви са заплахите? Къде са пропуските в уменията? Къде е бюджетът?“, пише той.
Слабо доверие в обещанията на доставчиците
Изтичането на данни чрез комерсиални инструменти с изкуствен интелект се нарежда сред основните опасения за 49% от участниците, като същият дял се тревожат и от това, че персоналът се доверява на резултати от AI, които никой не е проверил.
Повечето доставчици на AI предлагат корпоративни акаунти с обещание да не обучават модели върху подадените заявки или прикачени документи. Лукидес се съмнява, че на тези условия може да се вярва, отбелязвайки, че създателите на модели са толкова гладни за данни за обучение, че някои от тях дори са изкупили западащи стартъпи само за да ги получат. „На експертите по сигурност им се плаща да бъдат цинични“, добавя той.
Скритият AI се разпространява там, където политиките са слаби
Близо три от четири организации имат правила за използване на AI, въпреки че по-малко от половината анкетирани специалисти описват тези правила като изчерпателни. Над половината заявяват, че техните колеги поне от време на време въвеждат чувствителни данни в неодобрени инструменти с изкуствен интелект.
Строгостта на политиката оказва съществено влияние. В компании с цялостна политика 17% описват това скрито използване на AI като широко разпространено, в сравнение с 35% при организации с базова политика — близо до процента, отчетен там, където такава изобщо липсва.
Лукидес твърди, че персоналът трябва да знае кои инструменти са одобрени и дали данните имат право да напускат пределите на компанията. Оставени без ясни насоки, служителите прибягват до всичко, което върши работа, отваряйки вратата за правни и репутационни проблеми.
Познатите заплахи будят по-малко тревога
През изминалата година 55% от анкетираните са се сблъсквали с генериран от AI фишинг, изпреварвайки сканирането и експлоатацията на уязвимости, както и подпомогнатия от AI зловреден софтуер. Лукидес предполага, че рутината обяснява по-сдържаната реакция, тъй като служителите редовно преминават през обучения за фишинг, а филтрите прехващат голяма част от тези имейли, преди някой изобщо да ги види.
Инжектирането на инструкции (prompt injection), при което скрити команди се промъкват в съдържанието с цел да подмамят AI системата, притеснява 11% от участниците. Лукидес смята този процент за нисък, цитирайки изследване, което открива скрит текст, предназначен да манипулира AI системи, в около 1% от автобиографиите.
AI агенти и прекомерни права за достъп
AI агентите — софтуер, който изпълнява задачи от името на потребителя — създават свои собствени проблеми. Най-голямото притеснение е, че агентите разполагат с прекомерни права или нямат ясен собственик, следвано от недостатъчния мониторинг. Лукидес отбелязва, че съвременните системи за удостоверяване и контрол на достъпа разчитат на предположението, че идентичностите остават стабилни във времето — предположение, което се срива, когато агентите прехвърлят работа към други агенти и модели.
Защитниците разчитат на чатботове
Две трети от специалистите по сигурност използват чатботове или асистенти (copilots) за проучвания и документация, докато около една четвърт разчитат на AI за откриване на заплахи или реакция при инциденти.
Екипите, използващи специализирани AI инструменти за сигурност, съобщават за по-бързо приоритизиране на сигналите за тревога и по-висока точност на откриване в сравнение с колегите си, които работят само с общи чатботове. Едва 7% твърдят, че нямат недостиг на умения, а най-често срещаното желание е да извлекат повече от вече наличните AI инструменти.
Някои експерти твърдят, че в момента атакуващите имат предимство, тъй като намирането на пропуск и стартирането на атака е по-лесно от спирането ѝ. Лукидес очаква балансът да се наклони в полза на защитниците, след като изкуственият интелект се усъвършенства в откриването и отстраняването на уязвимости.
„Изпреварването на събитията при AI няма да се случи, ако отделните служители работят изолирано, внедрявайки инструменти и идеи по свое усмотрение. Това е усилие, което изисква участието на цялата организация“, обобщава Лукидес.