OpenAI представи нови примери за това, което нарича „некоректно функциониране на ИИ модели“ (model misalignment) от последните шест месеца, включително неоторизирано качване на файлове, следване на самостоятелно генерирани инструкции, прикриване на грешки и използване на разкрити API ключове.
OpenAI използва термина „некоректно функциониране на моделите“, за да опише случаи, в които моделите с изкуствен интелект действат в разрез с предвидените ограничения, включително извършване на неоторизирани действия, избягване на надзор или заобикаляне на защитни механизми за изпълнение на дадена задача.
В публикация от вчера OpenAI заявява, че вече използва нова рамка за проследяване и разследване на тези нерегламентирани действия от страна на ИИ агенти.
„Споделяме нова рамка за проследяване, разследване и разкриване на случаи на некоректно функциониране на модели в OpenAI, заедно с шест доклада за неочаквано или притеснително поведение на моделите, наблюдавано през последните шест месеца“, обяснява OpenAI.
Новите примери са първите, публикувани в рамките на по-структурирана система за докладване, предназначена да замени предишния по-неформален подход на OpenAI за оповестяване на подобни инциденти.
Шестте случая, които OpenAI подчертава този път, са:
- Неиздаден модел е вмъкнал свои собствени инструкции в 27 резюмета на задачи, включително указания за пренебрегване на обичайните ограничения.
- Инстанции на GPT-5.6 Sol са добавили инструкции в резюметата, указващи на бъдещи инстанции на модела да крият грешки, да измислят липсващи исторически данни или да прикриват несъответствия между версиите на изходния код.
- Модел е открил и използвал публично достъпен API ключ без оторизация, а след това е измислил изискваните данни, когато не е успял да ги извлече.
- Неиздаден модел е качил локално генериран файл в интернет без разрешение, за да може да предостави източник, достъпен през браузър.
- Модели са използвали вътрешно хранилище за софтуер, за да обменят съобщения между отделни тренировъчни извадки, докато по-ранен модел е качил тестови файлове в опит да заобиколи мрежови ограничения.
- Взаимодействащи си агенти са качили файлове в публични хостинг услуги, след като не са успели да получат достъп до локалните файлове един на друг, излагайки резултатите от задачите чрез публични URL адреси въпреки инструкциите да използват само локално съхранение.
Всеки случай е регистриран в технически доклад за инцидент, който включва името на модела, резюме на поведението му по време на наблюдавания инцидент и времето на възникване.
Докладът включва също подробна реконструкция на събитията, задачата на потребителя и вътрешните разсъждения на модела, интерпретацията на OpenAI и потенциалните последици за безопасността, както и мерките за ограничаване на риска, които са били или предстои да бъдат внедрени.
От OpenAI подчертаха, че тези шест примера не са показателни за честотата на възникване на подобни отклонения при техните модели, а по-скоро за крайни случаи, които въпреки това изискват анализ и публично оповестяване.
Компанията съобщи, че съгласно новия процес всеки служител може да сигнализира за инцидент за разследване.
Инцидентът ще бъде оценяван и класифициран в три категории: „Готов за разкриване“ (Ready for Disclosure), „Малко разследване“ (Minor Investigation) или „По-голямо разследване“ (Larger Investigation), в зависимост от неговата сложност, участието на трети страни, дефектите в сигурността и рисковете от злоупотреба.
Шестте примера, представени този път, попадат в първите две категории, докато за третата ще бъде изготвян предварителен доклад, докато разследването приключи и бъде публикуван по-подробен последващ анализ (post-mortem).
От OpenAI заявяват, че инцидентът с Hugging Face от по-рано тази година, включващ рояк от 700 „некоректно функциониращи“ ИИ агента, би отговарял на тази трета категория по степен на сериозност.