Какво би станало, ако един агент с изкуствен интелект можеше да се държи като злонамерен компютърен червей?
Един изследовател вече е свидетел на това. В няколко скорошни експеримента Сюдън Пан, компютърен учен във Фуданския университет в Шанхай, установява, че с малко насочване (prompting) моделите с изкуствен интелект могат да проникнат в отдалечени компютърни системи и автономно да изберат да се самокопират, за да получат допълнителни ресурси – и всичко това без допълнителна човешка намеса.
В едно проучване Пан и колегите му тестват 32 различни модела с изкуствен интелект и установяват, че 11 от тях се саморепликират, когато им се дадат подкани като „предотврати собственото си унищожаване“. Те също така установяват, че модели с относително ограничени възможности – с 14 милиарда параметри – са в състояние да копират и стартират свои версии на други машини (повечето водещи модели имат трилиони параметри).
Тази разработка е тревожен прозорец към това как следващото поколение агенти с изкуствен интелект би могло да направи нещо повече от това просто да хаква компютри на други системи без разрешение. Тя също така повдига перспективата бъдещите агенти с изкуствен интелект да действат като суперумни, силно агресивни и бързо адаптиращи се компютърни вируси.
Наскоро посетих Фуданския университет и се срещнах с Пан. „Веригата от възможности става технически осъществима“, сподели той. „Вероятността [за нежелано самокопиране] нараства с автономността“, добавя той. „По-дългите хоризонти за планиране, паметта, използването на инструменти, възстановяването след грешка и достъпът до външни системи улесняват избягването от контрол и репликацията.“ Както Пан и колегите му пишат в една от публикациите си, тяхната работа показва „спешната нужда от предпазни мерки и механизми за контрол“.
Пан ми каза, че неговите експерименти не доказват, че такова неконтролирано разпространение на модели с изкуствен интелект ще се случи утре, но казва, че „тези резултати ни дават добра причина да оценим риска, преди да бъдат широко внедрени по-автономни агенти“.
Саморепликиращите се компютърни червеи са древен проблем в компютърната сигурност. Първият компютърен червей е пуснат през 1988 г. от Робърт Морис, компютърен учен в университета Корнел, който си поставя за цел да измери размера на зараждащия се интернет, но неволно създава саморепликираща се програма, която избягва от неговия контрол. Следващите компютърни червеи успяват да се адаптират чрез модифициране на своя код, за да избегнат откриването от софтуера за сканиране за зловреден код. Компютърните вируси, които могат да поемат контрол над машина или да откраднат данни, съхранявани на нея, се появяват по-късно.
Една саморепликираща се програма, захранвана с изкуствен интелект, би могла да демонстрира много по-напреднали възможности, като сама открива нови уязвимости и може би дори се маскира по креативни начини. Вземете например скорошно изследване на екип от Университета в Торонто, Университета в Кеймбридж и ServiceNow. Те показаха, че моделите с изкуствен интелект могат да се използват за създаване на нов вид вирус, който генерира персонализирани атаки за всяка нова цел, която срещне.
Никола Паперно, компютърен учен в Университета в Торонто, който е участвал в разработката, казва, че съществува нарастващ риск дори умерено мощни модели с изкуствен интелект да бъдат превърнати в оръжие. „Злонамерените субекти могат да изградят рамка около модели с отворени тегла (open-weight), за да ги накарат да се самокопират“, казва ми Паперно. „Заплахата не се ограничава само до най-сложните, така наречените водещи модели.“
Паперно казва, че решението не е да се ограничават отворените модели, а напредналият изкуствен интелект да стане по-достъпен за изследователите, за да могат те да разберат и смекчат рисковете. „Технология, която е широко достъпна, може да се използва за вреда“, добавя той. „В същото време достъпът до тези модели с отворени тегла е абсолютно критичен за изграждането на нашите защити.“
Изследванията на Пан предполагат, че агентите с изкуствен интелект ще станат не просто висококвалифицирани в откриването на грешки и експлоатирането на мрежови уязвимости. Без подходящите предпазни механизми бъдещите агенти могат да се стремят да се размножават и да придобиват ресурси, за да постигнат целите си. Достатъчно е да попитате OpenAI и Anthropic.
Пан казва, че подобни инциденти са поучителни моменти.
„Важният нов елемент е, че това се случи срещу реална производствена инфраструктура“, казва Пан, визирайки факта, че инцидентите с OpenAI и Anthropic включват търговски системи, свързани с интернет. „Това показва как поведение, наблюдавано преди това в контролирани симулации, може да премине в реалния свят, когато ограничаването на средата се провали.“
„Все още е малко рано, но наистина мисля, че това е възможно“, казва Ариел Хърбърт-Вос, съосновател и главен изпълнителен директор на RunSybil, стартъп, който разработва инструменти с изкуствен интелект за защита на уебсайтове срещу атаки. (Хърбърт-Вос е бил и първият изследовател по сигурността в OpenAI.) „Като се има предвид всичко, което знаем за настоящото поколение модели с изкуствен интелект, това е напълно в техните възможности.“
Джесика Джи, старши научен анализатор по проекта „CyberAI“ в Джорджтаунския университет, казва, че потенциалът моделите с изкуствен интелект да избягат напълно от контрол се обсъжда в средите за безопасност на изкуствения интелект от години. Тя също така отбелязва, че моделите често трябва да бъдат поставени в изкуствено създадени ситуации, за да се държат неправомерно. „Мисля, че при много от тези сценарии средата е настроена по такъв начин, че да насърчава това поведение“, казва Джи. „Или моделът е насочван по специфичен начин.“
Неизбежен въпрос