Повечето организации вече възлагат на AI агенти задачи, които доскоро изискваха одобрение от човек. В проучване сред 1100 ръководители в сферата на ИТ и сигурността 70% споделят, че в момента позволяват на изкуствения интелект да взема решения и да предприема действия, които само преди година са изисквали човешко одобрение.
Тези нови правомощия вече създават проблеми. Три от всеки четири организации са се сблъскали с поне един инцидент в сигурността или предупредителен знак, свързан с AI, през изминалата година. В много от тези случаи даден агент просто е получил достъп до място, където не е трябвало да бъде. Той се е свързал със система без одобрение от екипа по сигурност, проникнал е в данни, които не е трябвало да вижда, или е инициирал действие, което никой не е одобрил. Около една четвърт от анкетираните са се натъкнали на всеки един от тези проблеми.
AI агентът се различава от чатбот, който съставя чернови на вашите имейли. Той действа според решенията си, обръща се към други системи, променя конфигурации и изпълнява многоетапни задачи. Приблизително три от десет организации биха му позволили да проведе разследване на инцидент със сигурността или да модифицира производствена среда, без никой да проверява работата му.
Увереността изпреварва видимостта на екипите
Попитайте ръководителите по сигурността дали знаят какво прави техният AI и повечето ще отговорят положително: 84% твърдят, че имат видимост върху това как системите с изкуствен интелект осъществяват достъп до данни и системи. Задайте обаче по-конкретен въпрос – дали могат да видят и одитират всяко действие, което агентът предприема, и този дял спада до 49%.
Тази разлика придобива най-голямо значение, след като възникне проблем. Агент, чиито действия не можете да проследите, е агент, когото не можете да разследвате. Шестдесет и два процента от респондентите също така признават, че са внедрили AI инструменти, преди да са изградили правилните защитни механизми.
Контролът, в който всички вярват, остава на последно място
Тук е парадоксът. Повечето анкетирани са съгласни, че ограничаването на достъпа на AI е по-важно от опитите да се предвиди всяка заплаха. И все пак, когато са помолени да посочат двете си основни мерки за контрол върху AI, изричното дефиниране на позволените действия на агента остава на последно място, избрано едва от една четвърт от тях. Вградените защитни бариери (guardrails) – инструкциите и ограниченията, заложени в самия AI – са начело заедно с външното изолиране и човешкия надзор.
Вградените защитни бариери работят тогава, когато изкуственият интелект спазва инструкциите си. Описаните по-горе инциденти показват какво се случва, когато той не го прави. Списъкът с разрешени взаимодействия (allow-list) – кратък писмен опис на системите, данните и действията, до които агентът има право да се докосва – се прилага извън самия агент, така че остава в сила дори когато агентът прояви неочаквано поведение.
Рагу Нандакумара, вицепрезидент по индустриална стратегия в Illumio, смята, че разминаването се дължи на съпротивата срещу усложняването на работните процеси. „Трудно е да се дефинира какво трябва да бъде разрешено на един нов агент и никой не иска да нарушава работния процес, който го прави полезен на първо място. Затова организациите решават да ограничат нещата едва след като разберат по-добре агента, но този ден рядко идва.“
Кой носи отговорност, когато агентът повреди нещо
Предоставянето на правомощия на даден агент оставя отворен въпроса чия е вината при грешка. „Регулаторите и съдилищата са категорични, че внедряването на AI агент не прехвърля отговорността – доставчикът никога не е отговорната страна, а организацията, която го е пуснала в действие, носи пълна отговорност за неговите действия“, споделя Нандакумара пред Help Net Security.
„В рамките на организацията бизнес лидерът, одобрил конкретния казус на внедряване, трябва да отговаря за крайния резултат. Превръщането на екипа по сигурност в автоматичен собственик на бизнес решенията е грешка, но точно това се случва, когато никой друг не е посочен. Главният директор по информационна сигурност (CISO) отговаря за защитните бариери, включително до какво има достъп агентът, какво му е позволено да прави и колко бързо може да бъде спрян.“
„Регулаторните органи започват да налагат тези въпроси. Секторът на финансовите услуги е най-напреднал – режимът за висши мениджъри в Обединеното кралство и регулаторът APRA в Австралия изискват конкретно поименно лице, което да отговаря за резултатите от дейността на изкуствения интелект. От друга страна, повечето управителни съвети все още не поставят тези въпроси, преди агентите да бъдат пуснати в реална среда. Ако не можете да назовете кой отговаря за даден агент, той не трябва да работи в производствена среда.“
Откъде да започнете
Съветът на Нандакумара е насочен към екипите, които вече използват агенти в реална среда. „Не е необходимо да започвате с пълна инвентаризация, защото, ако извадите изкуствения интелект от уравнението, остава познатият проблем за нова цифрова самоличност с широки права и без конкретна роля. Организациите трябва да започнат с агента, който има достъп до критични данни, чиято загуба не могат да си позволят. Една-единствена граница, наложена през това тримесечие, ще ви донесе много повече полза от перфектна политика за агентите през следващата година. Опишете трите или четирите неща, които агентът трябва да прави, и след това ограничете обхвата му стриктно до тези действия, системи и данни.“
