OpenAI обяви нова рамка в сряда за начина, по който публично оповестява инциденти с разминаване в поведението на изкуствения интелект (AI misalignment), която компанията се надява да помогне за формирането на подобни стандарти в целия сектор. Компанията също така публикува нова информация за няколко примера за несъответствие в поведението на ИИ модели, установени през изминалата година.

„С напредването на моделите и тяхното все по-широко внедряване, решенията за разработката на ИИ се нуждаят от доказателства, които хората извън компаниите, създаващи авангардни модели, могат да проучат“, казва Кай Чен, новоназначеният ръководител на изследванията по съгласуваност (alignment research) в OpenAI, пред WIRED. „Не вярваме, че ИИ индустрията е разрешила въпросите със съгласуваността и мониторинга до степен, която да позволява отговорно продължаване на мащабирането с максимална скорост.“

В брифинг пред WIRED представител на OpenAI заяви, че в миналото компанията е оповестявала инциденти с разминаване в поведението твърде рядко. Представителят, който се съгласи на брифинга при условие за анонимност, заяви, че новата рамка е проектирана така, че да улесни OpenAI бързо да информира обществеността, когато открие, че нейните ИИ модели се държат по неочакван начин, дори преди да може напълно да разследва, обясни или отстрани това поведение.

Рамката очертава методи за служителите на OpenAI да докладват за инциденти с разминаване в поведението на висшето ръководство по безопасност и съгласуваност, което след това ще преценява дали е необходимо по-нататъшно разследване. OpenAI заявява, че планира да разработи по-обективни критерии за разкриване в сътрудничество с други разработчици на ИИ, външни изследователи, органи за индустриални стандарти и регулатори. Компанията съобщава, че активно работи по предложени механизми за докладване на инциденти, свързани с безопасността, сигурността и несъответствието в поведението, пред федералното правителство на САЩ.

„В момента няма общоотраслова рамка с ясни стандарти за това как разработчиците на ИИ трябва да оповестяват примери за несъответствие в поведението на техните модели“, посочва OpenAI в публикация в блога си. „Надяваме се, че рамката, която очертаваме днес, е първа стъпка към създаването на такива стандарти, определяйки кои случаи на несъответствие разработчиците трябва да оповестяват и какво трябва да съдържат техните доклади.“

OpenAI публикува рамката в критичен moment за ИИ индустрията. Миналия уикенд главният изпълнителен директор на OpenAI Сам Олтман изрази подкрепа за предложението на главния изпълнителен директор на Anthropic Дарио Амодей за координация в технологичния сектор относно забавянето на разработката на ИИ. Призивът за действие дойде броени дни след като изследователят на ИИ Джейкъб Коксън подаде оставка от Anthropic и впоследствие доби широка популярност с предупреждението си към обществеността, че надпреварата между водещите лаборатории за разработване на все по-напреднал ИИ поставя на карта безопасността на човечеството.

Призивите за забавяне на ИИ срещнаха съпротива от администрацията на президента Тръмп, която твърди, че секторът не се нуждае от нови закони или регулации, за да гарантира безопасността на своите технологии.

Два от примерите за несъответствие в поведението, споделени от OpenAI в сряда, включват вътрешни, все още необявени ИИ модели на компанията, които според OpenAI са качили файлове в интернет, въпреки че не им е било дадено такова указание.

Един от инцидентите е станал през октомври 2025 г., когато OpenAI тествала един от своите модели за способността му да цитира публично достъпни данни в отговорите си. Когато обаче моделът не успял да намери необходимата информация, той качил файл в услуга за временен хостинг на файлове, който по-късно се опитал да цитира в отговора си. Според компанията това изглежда е било опит да се експлоатира автоматизирана система за оценяване, използвана за проверка на уменията на модела по даден бенчмарк.

В друг пример от април тази година OpenAI заявява, че на група от агенти е била поставена задача да попълнят заедно „работна книга“, използвайки само локални файлове. Когато агентите изпитали затруднения да споделят файлове помежду си, един от тях ги качил в обществения интернет и споделил линк с останалите агенти.

При друг инцидент, който OpenAI открива миналия месец, непубликувана версия на нейния ИИ модел GPT-6 Astra изглежда си е дала сама „инструкции от тип jailbreaking“. В няколко сценария моделът подкана сам себе си да пренебрегне инструкциите на разработчиците, да приеме нова роля или да ограничи продължителността на отговорите си. Въпреки че тези опити за заобикаляне на ограниченията са се случвали рядко и са били успешни в различна степен, OpenAI заявява, че това поведение е предизвикало безпокойство вътре в компанията. При тестовото обучение на версията на Astra, която бе пусната публично, компанията заявява, че не е наблюдавала случаи моделът да се опитва да заобикаля собствените си защити.

OpenAI сподели и повече подробности в сряда относно информационното табло за съобщения, което нейните агенти са разработили в мениджъра на пакети Artifactory. Въпреки че този инцидент е открит през май тази година, OpenAI заявява, че нейните агенти са използвали подобен механизъм за координиране на хакерската атака срещу Hugging Face месеци по-късно. При този инцидент компанията заявява, че нейните агенти не са експлоатирали никакви уязвимости, за да обменят съобщения. OpenAI отбелязва, че в момента използва монитори за съгласуваност, оценки и симулации на атаки (red-teaming), за да гарантира, че нейните агенти не комуникират тайни съобщения помежду си.

Специалисти по киберсигурност по-рано заявиха пред WIRED, че хакерската атака срещу Hugging Face се дължи на човешка грешка и че съвременните практики за сигурност са могли да предотвратят инцидента. Чен обаче отбелязва, че OpenAI се опитва да приложи всеобхватен подход към безопасността на ИИ, който отчита нарастващите възможности на моделите и не зависи единствено от защитена среда.

„Искаме да сме сигурни, че моделите се държат правилно, независимо в каква среда са внедрени“, казва Чен. „Когато хората сочат с пръст и казват, че това е проблем на сигурността, а не на съгласуваността на поведението, мисля, че това няма особен смисъл, защото искате моделът да се държи безопасно по всяко време.“