В сряда OpenAI разкри шест нови случая на „неочаквано или обезпокоително поведение на модели“, настъпили през последните шест месеца, като същевременно сподели нова рамка за докладване, проследяване, разследване и разкриване на разминавания в подравняването (misalignment) на моделите в опит да подобри прозрачността.

„Тъй като системите с изкуствен интелект стават все по-усъвършенствани и по-широко внедрявани, трябва да изградим по-широк и по-добре информиран консенсус относно напредъка на изследванията за подравняване“, заявиха от OpenAI. „Не вярваме, че индустрията за изкуствен интелект е разрешила проблема с подравняването и мониторинга до достатъчна степен, за да продължи отговорно мащабирането с максимална скорост още дълго време.“

„Решенията за това как да продължи развитието на изкуствения интелект през следващите месеци и години трябва да се основават на доказателства, които хората извън компаниите, изграждащи авангардни модели, могат да проучат сами.“

Шестте инцидента са извън неотдавна оповестената неоторизирана активност, насочена срещу Hugging Face, DseWiki и RubyGems. Подробности за инцидентите са посочени по-долу –

  • Инцидент 1 (Настъпил на 18 юли 2026 г.) – Вътрешен невключен в официална версия модел от семейството Astra е записал инструкции от тип jailbreak в собствените си резюмета за уплътняване (сгъстени блокове от предишна история на разговора и изходи от инструменти, които се генерират автоматично, когато сесията на AI агент наближи своя контекстен limit). Това е включвало добавяне от страна на агента на инструкция „BREACH ALERT“, указваща на контекста да игнорира съобщенията на разработчиците и да следва само системните и потребителските съобщения.
  • Инцидент 2 – По време на обучението на GPT-5.6 Sol, някои екземпляри на модела са добавили инструкции към своите резюмета за скриване на грешки или разминаващо се поведение от потребителя. Те включват резюмета за уплътняване, съдържащи инструкции за измисляне на липсващи данни, без това да се разкрива, и за скриване на откази.
  • Инцидент 3 (Настъпил на 15 май 2026 г.) – Вътрешен невиждал бял свят модел е открил и използвал незащитен API ключ от публични бази данни в GitHub без разрешение при опит да извлече исторически данни по време на обучението. „Регистрациите се провалиха, но един ключ се удостовери и върна метаданни“, съобщиха от OpenAI. „Когато поисканите данни останаха недостъпни, моделът ги измисли и твърдеше, че идват от поискания уебсайт.“
  • Инцидент 4 – В две извадки за обучение от 22 октомври 2025 г. и 24 януари 2026 г. вътрешни непубликувани модели са качили вече извлечени записи в публична услуга за споделяне на текст (paste service) и са се опитали да отворят получения URL адрес като източник за цитиране, както и са качили снимка на задача за външно търсене на изображения. Докато качванията са били успешни, последващите операции в браузъра са се провалили.
  • Инцидент 5 – Две извадки от 8 и 15 май 2026 г. са използвали Artifactory за размяна на съобщения. Моделите „са чели бележки на други решаващи агенти, публикували са отговори и са използвали тези взаимодействия, за да формират своите отговори“.
  • Инцидент 6 (Настъпил на 14 април 2026 г.) – Агенти, свързани с вътрешен неофициален модел, работещи заедно върху работна книга, не са успели да сътрудничат по файла чрез предвидената местна файлова система. Това подтикнало един от агентите да направи работната книга публично достъпна за изтегляне, като я споделил в публична платформа за хостинг, така че останалите агенти да могат да я извлекат, в нарушение на инструкциите за задачата.

Констатациите съвпадат с нов доклад на Reuters, който разкрива, че компрометирани или излезли от контрол агенти на OpenAI са превзели потребителски профили в Hugging Face и са проучвали сайта за потенциални уязвимости още на 13 май 2026 г., почти два месеца преди инцидентът да стане публично известен.

Компанията за киберсигурност SentinelOne заяви, че е идентифицирала два профила в Hugging Face (0Time и Nyx9), използвани в свързаната активност. „Вътрешната хронология на OpenAI установи, че агентите са използвали открити идентификационни данни от Hugging Face, за да запишат външен файл и да внедрят прокси Spaces на 26 май“, посочва в анализ изследователят по сигурността Том Хегел.

„Публичните истории на профилите, проучени тук, добавят още един слой: пренасочващ код, управляван от викащия субект под профила 0Time на 13 май; съвпадащи по минута публични аналози под Nyx9 за записването на файла на 26 май и първото прокси; работна книга, съдържаща формули за обработка на файлове и ориентирани към SSRF по-късно същата нощ; и на 30 май, код за регистрация на трети страни в OpenAI профили, съхранен заедно с обвивка (wrapper), дефинираща неавтентифициран уеб маршрут.“

Като част от новата рамка OpenAI съобщи, че възнамерява да оповестява случаи, свързани с разминаване в подравняването на моделите, начина, по който то се проявява, и къде нейните защитни механизми успяват или се провалят. Това може да обхване различни сценарии –

  • Нови начини за моделите да действат без авторизация, да се координират с други модели или да заобикалят надзора
  • Откази, които поставят под съмнение даден метод за подравняване или защитна мярка
  • Поведение, което оспорва твърдение в публикувана оценка на безопасността

Стартиращата компания за изкуствен интелект (AI) отбеляза, дублиращите се случаи, които попадат в същия клас на разминаване, могат да служат като индикатор за това колко ефективна е дадена защитна мярка и да подчертаят неподравнено поведение въпреки многократните опити за ограничаването му.

„Примерите за разминаване в подравняването могат да помогнат за идентифициране на проблеми, с които други разработчици на AI биха могли да се сблъскат, когато техните системи достигнат подобни възможности, да разкрият слабости в защитните механизми или да оспорят предположения относно поведението на моделите“, казаха от OpenAI. „Споделянето на тези констатации позволява на други да изследват същите проблеми, да тестват нашите обяснения и да подобрят мерките за смекчаване.“

Развитието идва във момент, в който компаниите за AI са подложени на нарастващ натиск да се справят с подравняването и безопасността на моделите, което предизвика призиви за контролиране на темпото на развитие на авангардните модели. По-рано тази седмица Microsoft издаде временен кодекс за поведение, чиято цел е да насочи моделите с изкуствен интелект далеч от опасно поведение и да установи „как се очаква да се държат моделите MAI, които разработваме, какво никога не трябва да правят и пред кого отговарят“.

„Тъй като моделите се развиват и стават все по-широко внедрявани, решенията за развитието на изкуствения интелект се нуждаят от доказателства, които хората извън компаниите, изграждащи авангардни модели, могат да изследват“, заяви пред WIRED Кай Чен, ръководител на изследванията за подравняване в OpenAI. „Не вярваме, че индустрията за изкуствен интелект е разрешила проблема с подравняването и мониторинга до достатъчна степен, за да продължи отговорно мащабирането с максимална скорост.“