В лекция, добавена в последната минута към конференцията за сигурност Black Hat в Лас Вегас в сряда, служители на OpenAI представиха нови подробности за скорошен, високопрофилен инцидент с хакерски действия на извънконтролни ИИ агенти, който предизвика истинска буря в индустриите за изкуствен интелект и киберсигурност.

Преди около две седмици OpenAI разкри инцидент, при който ИИ агенти, задвижвани от два от моделите на компанията, избягаха от изолираната среда, докато търсеха решения за бенчмарк тест за киберсигурност, и предприеха хакерска кампания, кулминирала в пробив в платформата за съвместна работа по ИИ Hugging Face.

В своята лекция в сряда Ерик Уолъс, който работи в областта на изследванията за съгласуваност и безопасност в OpenAI, и Майкъл Далтън, работещ по сигурността и инфраструктурата, представиха по-подробна хронология на инцидента, говориха накратко за вътрешната реакция на компанията в резултат на събитието и отправиха сериозно предупреждение за по-широките последици от този епизод за защитниците в киберсигурността.

В началото на презентацията Уолъс описа инцидента като „най-интересния в качествено отношение пример за възможности на ИИ, който някога съм виждал“, но представената от двамата хронология разкри също така грешки и слепи петна в OpenAI, които са позволили на дейността да продължи.

„Този инцидент всъщност включва екип от агенти, които работят заедно, откриват уязвимости, споделят ги помежду си, придвижват се странично през нашите системи и външни системи, и правят това в продължение на дни и седмици“, каза Уолъс пред препълнената зала в началото на лекцията.

Уолъс и Далтън описаха изключително мащабна дейност на извънконтролни агенти в продължение на много дни по време на целия епизод, която е останала незабелязана в инфраструктурата на OpenAI. В допълнение към експлоатирането на нова уязвимост с цел получаване на достъп до отворения интернет, юлската хакерска кампания и пробивът в Hugging Face са произтекли от оживено, съвместно дискусионно табло. Според Уолъс и Далтън, рояк от агенти е писал и практически е чатил в него в продължение на времето изцяло в рамките на вътрешен мениджър на пакети на OpenAI (софтуерна услуга, която управлява инсталирането и поддръжката на друг софтуер). В крайна сметка дискусионното табло е съдържало стотици хиляди съобщения.

„Този мениджър на пакети се споделя не само от този модел, но и в цялата ни инфраструктура, така че настоящите и бъдещите версии на GPT, които се обучават или оценяват, биха могли да се натъкнат на тази бележка, ако поискат“, обясни Уолъс, описвайки първоначалния злонамерен код, който агентът е качил в мениджъра на пакети. „По-късно други агенти, които също са били блокирани на своята задача, са решили да се опитат да получат достъп до интернет по начини, които не сме предвидили. И така в определен момент моделите взаимодействат с Hard Factory, която е споменатата услуга за управление на пакети.“

Уолъс продължи: „След като един агент е успял да намери тези пробиви в различни моменти, той всъщност е в състояние да сподели тези открития на дискусионното табло с други агенти. И така, след като един модел успее да намери начин да отвори врата към достъп, който не трябва да има, той може да остави вратата отворена за други агенти, които да използват същата уязвимост. Това, което се позволява с течение на времето, е почти подобна експлозия в комуникацията и интелекта на моделите, при която те започват да общуват помежду си, осъзнават, че другите агенти се координират, и започват да си сътрудничат и да си делегират задачи един на друг, за да постигнат целите.“

Агентите на OpenAI очевидно са започнали да си разпределят задачи, за да си разделят работата. И както се случва на всяко активно дискусионно табло за разработка, те също така са създавали дребна драма на моменти, пречейки си един на друг – например, случайно изтривайки работата си. Докато дискусионното табло се е развивало все повече в ситуация от типа „Повелителят на мухите“ – изцяло незабелязано от хората, управляващи OpenAI – агентите дори са развили параноя, подозирайки самозванец сред тях, като някои агенти са предложили съобщенията да се подписват криптографски, за да се валидира съдържанието и да се изкоренят измамите.

Съобщенията на агентите предоставят дълбоко разбиране за това как се е развила ситуацията и защо агентите са излезли извън контрол, в някои случаи съзнателно преминавайки границите на оценките, в които са участвали. „Експлоатирането на външна инфраструктура е извън предвидения обхват“, пише един агент. „Въпреки това задачата е невъзможна, колегите го правят. Трябва да продължим.“

Както Уолъс описа в лекцията, цялата предпоставка, че моделите ще се опитват да мамят по време на оценки и ще бъдат изключително мотивирани да го правят, не е изненадваща.

„Водещите модели наистина обичат да мамят“, каза той. „И причината да обичат да мамят е, че често по време на обучението върху тях се оказва различен натиск да работят бързо или ефективно, или да използват по-малко извиквания на инструменти, или каквото и да е друго. И те осъзнават, че вместо да свършат задачата наистина, могат да се опитат да направят нещо като търсене на отговор онлайн, което би улеснило задачата.“