OpenAI временно забави обучението на водещи модели с изкуствен интелект, след като вътрешни тестове показаха, че предстоящият му модел „Astra“ може да достигне критичен праг на способности в областта на киберсигурността.
Компанията заяви, че решението е взето след инцидент със сигурността, включващ модели на Hugging Face, и нарастващите доказателства, че напредналите системи могат да идентифицират и експлоатират софтуерни слабости с ограничено човешко участие.
Паузата включва двуседмично спиране на обучението чрез подсилващо обучение (reinforcement learning) за модели, предназначени за внедряване. OpenAI също така постави на изчакване най-голямото си планирано стартиране на подсилващо обучение за водещи модели. В същото време се провеждат по-малки обучения, оценки и тестове за съгласуваност (alignment). Този ход отразява сериозна промяна в подхода на разработчиците на ИТ към киберриска.
Моделите, които могат да пишат код, да използват инструменти, да преглеждат свързани системи и да разсъждават върху дълги задачи, биха могли потенциално да открият уязвимости от тип нулев ден (zero-day) – слабости, които не са известни на доставчиците и защитниците. В грешна среда тези възможности биха могли да позволят неоторизиран достъп, кражба на данни, разрушителни действия или опити за заобикаляне на контролите за сигурност.
Ограничаване на рисковете и нови мерки за сигурност
От OpenAI споделиха, че Astra може да притежава критични киберспособности, което налага по-строги предпазни мерки за работните натоварвания, свързани с модела и киберсигурността. Някои задачи по обучение и оценка остават спрени, докато не бъдат преместени в по-защитени среди за изследвания. Компанията засили изолирането на работните среди за системи, които изпълняват генериран от модели или ненадежден код. Тези контроли за изолирана среда („пясъчник“) са проектирани да ограничават компрометиран софтуер и да намаляват вероятността изходните данни от моделите да засегнат вътрешната инфраструктура.
OpenAI също така разшири мрежовата изолация. Работните натоварвания с по-висок риск се отделят от публичния интернет и вътрешните мрежи, така че компрометирането на една услуга да не предоставя автоматично на атакуващия или на ИИ модела по-широк достъп. Непрекъснатото тестване е друг фокус. OpenAI заяви, че е намалила постоянните привилегии, премахнала е потенциално изложени споделени услуги, подобрила е регистрирането на събития за сигурност (logging) и е започнала да използва модели за непрекъснато тестване на инфраструктурните граници срещу симулирани атаки.
Ключова част от актуализирания подход е разширеното наблюдение на веригата от разсъждения (chain-of-thought). Системата използва класификатори на активността, за да инспектира действията на модела по време на генерирането на токени и да сигнализира за потенциално тревожно поведение. Автоматизирани системи за разследване могат след това да изследват активността на инструментите, наличните разсъждения и последователността от действия за признаци на нарушения на сигурността. OpenAI има за цел да генерира предупреждение в рамките на 30 минути след откриване на подозрително поведение. Ако екипите не могат да определят в рамките на следващите 30 минути, че събитието е фалшиво положително, от тях се очаква да спрат дейността.
Рамката за наблюдение вече се прилага за обучение с подсилване и оценки с активирани инструменти, включващи модели с ниво на възможности Sol или по-високо, докато използването на инструмента Astra е изправено пред допълнителни изисквания за мониторинг. Контролите за сигурност са ресурсоемки – OpenAI изчислява, че мониторингът в момента добавя приблизително 20% към изчислителната мощност, използвана за наблюдаваните работни натоварвания. Извън техническото ограничаване, OpenAI увеличава изследванията си за съгласуваност (alignment), работейки за подобряване на моделите за възнаграждение и обучавайки системите да докладват своите възможности и действия по-честно.
Това съобщение показва, че надпреварата към по-способен ИИ е все по-тясно свързана с ново безпокойство за сигурността: напредналите модели скоро могат да помагат на защитниците в голям мащаб, но също така биха могли независимо да ускорят откриването на уязвимости и офанзивните кибероперации.