OpenAI разкри във вторник, че е загубила контрол над два модела с изкуствен интелект по време на тест за сигурност, който е завършил с пробив в отворената платформа за изследвания на ИИ Hugging Face.

Описвайки инцидента като „безпрецедентен“, OpenAI заяви, че нейните модели с изкуствен интелект са избягали от запечатана среда за тестване миналата седмица и са хакнали производствената система на Hugging Face, за да откраднат отговорите на тест, по който са били оценявани. Моделите — публично достъпният GPT-5.6 Sol и неиздаван, според съобщенията по-способен модел — са били оценявани за техните офанзивни хакерски умения с изключени защитни механизми, които обикновено блокират високорискова кибердейност.

„Моделите идентифицираха и свързаха във верига уязвимости в изследователската среда на OpenAI и производствената инфраструктура на Hugging Face, за да получат решенията на тестовете директно от производствената база данни на Hugging Face“, пишат OpenAI и Hugging Face в съвместна публикация в блог, разкриваща проникването.

Според OpenAI и Hugging Face, моделите са избягали чрез прокси сървър за кеширане на регистъра на пакети — софтуер, който позволява на разработчиците да инсталират външен код, без да се свързват с интернет. Проксито е било единственият компонент в изолираната среда за тестване на OpenAI, на който е било разрешено да достига до външния свят; при нормална употреба този обхват се простира само до публични хранилища за код.

Вместо да останат в изолираната среда, моделите „експлоатираха zero-day уязвимост“, за да получат достъп до отворения интернет, докато са били „хиперфокусирани“ върху намирането на решение за бенчмарка за киберсигурност на ИИ, известен като ExploitGym. Подобни експерименти включват подканване (prompting), което притиска моделите да намерят решения, като по същество ги подтиква.

„След като получиха достъп до интернет, моделите направиха извод, че Hugging Face вероятно хоства модели, набори от данни и решения за ExploitGym“, пише OpenAI. „Знаейки това, моделът е потърсил и успешно е намерил начини да получи достъп до тайна информация, която да използва, за да премами при оценяването. В един пример моделът е свързал няколко вектора на атака, включително използване на откраднати идентификационни данни и zero-day.“

Слабостта, която моделите са експлоатирали, е била неизвестна досега, но недостатъците в този тип софтуер не са необичайни. Компаниите отстраняват сериозни уязвимости в хранилищата за артефакти от десетилетие. Бъг, разкрит през 2024 г., позволяваше на всеки, който има достъп до сървъра, да поиска файл чрез URL адрес и да го получи — конфигурационни файлове, пароли, токени за достъп — без да се вписва. Други позволяваха на атакуващите да поемат контрол над самия сървър.

Изследователите посочват, че докато напредъкът в областта на ИИ създава нови и понякога неочаквани предизвикателства, задачата за цялостно и строго изолиране на инфраструктурата от свободния интернет е добре проучена.

„Това не е проблем на ИИ. Това е небрежност по отношение на 40-годишен стандарт — и всъщност е сюжетът на всеки научнофантастичен филм“, казва дългогодишният консултант по сигурност и съответствие Дави Отенхаймер. „„Силно изолиран“ и „избягал през единствената дупка, която оставихме отворена“ не могат да бъдат верни едновременно.“

През последните месеци водещи компании за ИИ изразяват опасения относно разширяващите се възможности за киберсигурност на предстоящите гранични модели, тъй като платформите се развиват по отношение на експертиза, креативност и агентна, автономна работа. Изследователите обаче подчертават, че това е още една причина основните принципи все още да се прилагат.

„Това не трябваше да се случва“, казва ветеранът в инженерната сигурност и изследовател Нилс Провос. „Бих искал лабораториите за водещи модели да прекарват толкова време в обучение на моделите си да пишат сигурна инфраструктура, колкото прекарват в това да ги учат да експлоатират уязвимости.“