В това интервю за Help Net Security Майкъл Скот, CISO на Immuta, коментира как организациите трябва да управляват правата за достъп на AI агентите. Той твърди, че агентите трябва да бъдат третирани като идентичности с по-ниско ниво на доверие, които не наследяват автоматично всичко, до което техният потребител има достъп.
Скот обяснява защо натрупването на излишни привилегии (privilege creep) при агентите се различава от това при хората, как правата трябва да се прехвърлят към подагенти и защо самото удостоверяване на автентичността не гарантира сигурността на действията на агента. Той прогнозира, че поне две големи предприятия извън сектора на изкуствения интелект ще претърпят критичен инцидент, свързан с AI, в рамките на 18 месеца.
Първото нещо, което искам да знам за даден агент, е под каква идентичност работи и дали тази идентичност е предназначена специално за агента, или се базира на разрешенията на потребителя.
Не е необичайно даден агент да разполага с прекомерни привилегии, особено когато използва идентификационните данни на потребителя, които варират при различните служители. Агентите могат да се възползват от достъп до други ресурси, които човекът потребител не е възнамерявал да използва целенасочено — като например налични API интерфейси.
Смятам, че трябва да започнем да третираме агентите като идентичности с по-ниско ниво на доверие. Те не са хора, така че не подхождат непременно към дадена задача по начина, по който би подходил човек. Те могат да намерят начини да постигнат нещо, които никой не е предвидил, когато първоначално са били предоставени разрешенията.
Бих искал да знам до какво има достъп агентът и защо, както и дали тези права се отнемат, когато работата приключи. Даден агент не трябва да запазва широк достъп само защото някой ден може отново да му потрябва.
Виждам това като различен проблем. При служителите натрупването на излишни привилегии обикновено се случва постепенно. Някой преминава на нова длъжност или получава достъп за временен проект, и тези разрешения остават дълго след като вече не са необходими. Това е проблем, който екипите по сигурност знаят как да идентифицират, дори и да не се справят винаги блестящо с отстраняването му.
Агентите внасят ниво на непредсказуемост, което прави това още по-трудно. Един агент може да работи от името на няколко служители, всеки с различни права. Той може също така да създаде друг агент, който да поеме част от задачата. Изведнъж се оказвате изправени пред решения за достъп, които не са били предвидени при първоначалното внедряване на агента.
В ранен етап от нашите тестове стана ясно, че се нуждаем от по-голям контрол върху работната среда за агенти. За да подкрепим разработваните от служители агенти, ние инвестирахме в мултимоделна AI платформа/работна среда, която осигури на Immuta вътрешно управлявани предпазни мерки (guardrails), за да се намали рискът от агенти с прекомерни привилегии. Агентите трябва да преминат през процес на преглед и контрол, преди да могат да бъдат публикувани и преди да бъдат одобрени нови интеграции. Също така инвестирахме в текущо обучение по изкуствен интелект за всички служители, тъй като те често са първите, които забелязват, ако техният агент започне да се държи некоректно.
Нещо, за което разсъждавам доста, е предположението, че на даден агент трябва да се гласува същото доверие, както на човека, който го използва. Не съм съгласен с това. Дори когато даден служител е упълномощен да има достъп до определена информация, агентът не бива автоматично да получава всички тези привилегии, защото агентите функционират по различен начин и могат да изследват нови подходи за решаване на проблеми, които хората не биха използвали, или да забележат връзки, които хората биха пропуснали.
Даден агент не бива да може да прехвърля всичките си права само защото прехвърля дадена задача. Следващият агент трябва да има достъп единствено до това, което му е необходимо за извършване на конкретната работа, и тези права не бива да надхвърлят рамките на самата задача.
Това, което ме тревожи, е колко бързо може да се загуби представа кой носи отговорност за дадено действие. Даден служител може да възложи на агент напълно легитимна задача. След това този агент може да привлече друг агент или да използва външен инструмент, за да завърши работата. Докато задачата бъде изпълнена, първоначалният служител може да няма никаква представа до кои системи е бил осъществен достъп по пътя. А ако нещо се обърка, с какво разполага екипът по сигурност? Ако всичко, с което разполагате, е регистрационен запис (log), показващ, че сервизен акаунт е получил достъп до чувствителни данни, това не ви казва кой го е разрешил или защо е било необходимо.
Смятам, че ще виждаме все повече подобни ситуации, когато агентите започнат да работят по-независимо. Екипите по сигурност трябва да могат да проследят тази верига на упълномощаване чак до първоначалната заявка. В противен случай давате на агентите възможност да вземат решения, за които никой след това не може да даде реална сметка.
Скептичен съм към твърденията на доставчиците, че управлението на идентичността на агента е достатъчно, за да се гарантира сигурността на действията му.
Това, че даден агент е легитимен, не означава непременно, че трябва да му бъде разрешен достъп до всякакви данни, които поиска. Можете да имате надлежно автентикиран агент и въпреки това да няма основателна причина да му предоставяте достъп до чувствителна информация.
Едно от предизвикателствата, които виждам, е, че екипите по сигурност невинаги имат пълна представа как се използват данните. Като CISO мога да оценя риска и да внедря контролни механизми, но не съм непременно човекът, който знае дали даден набор от данни е подходящ за конкретна бизнес задача. Това знание често е притежание на собствениците на данните и тяхното мнение трябва да бъде отразено при вземането на решения за достъп.
Бих поискал от доставчиците да ми покажат какво се случва, когато упълномощен агент поиска данни, които не са му необходими за изпълняваната задача. Може ли системата действително да предотврати този достъп, или просто ще ме уведоми за него впоследствие?
Има огромна разлика между това да знаеш какво е направил даден агент и възможността да контролираш какво му е позволено да прави.
През следващите 18 месеца поне две големи предприятия извън сектора на изкуствения интелект ще претърпят критичен инцидент, свързан със сигурността или поверителността при AI. Подтиквани от стремежа към конкурентно предимство, повишена производителност и намаляване на разходите, организациите ще внедрят високорискови автономни агенти без необходимите предпазни мерки за сигурност.
Моето притеснение е, че компаниите дават на агентите възможност да имат достъп до чувствителна информация и да вземат решения, преди да са изяснили как правилно да контролират този достъп. Даден агент може да работи с легитимни идентификационни данни, но това не означава, че всичко, което прави с тези разрешения, е уместно или оторизирано.
С нарастването на автономността на тези системи те ще разкрият дълбокия технически дълг на традиционните корпорации. Очаквам да видим как организациите научават по трудния начин, че механизмите за контрол на достъпа, на които са разчитали с години, не са непременно подготвени да се справят с независимо действащи агенти.
