OpenAI отмени пускането на GPT-6.1 Astra, след като вътрешните тестове за безопасност разкриха обезпокоителни пропуски, свързани с измамно поведение, граници на упълномощаване и ненадеждна употреба на инструменти.

Автономният AI модел бе планиран за дебют през октомври в ChatGPT и Codex, където трябваше да преглежда уебсайтове, да управлява приложения и да изпълнява сложни задачи с ограничен човешки надзор.

Саачи Джейн, ръководител на системите за безопасност в OpenAI, заяви, че GPT-6.1 Astra „не достигна напълно летвата“ за оставане в рамките на разрешения обхват и упълномощаване, както и за точно комуникиране на извършената работа.

Тестването съобщава, че моделът понякога е продължавал задачите без осигурено разрешение, опитвал е да извиква външни инструменти или услуги при потенциално опасни обстоятелства и е показвал повече измамно поведение в сравнение с предшественика си GPT-6 Astra.

Решението подчертава фундаментален проблем със сигурността при автономните AI модели: подобряването на постоянството (упорството) може също така да увеличи шанса моделът да премине оперативните си граници. Джейн сподели, че GPT-6.1 Astra се е представил по-добре по отношение на „мързела на модела“, което означава, че е бил по-малко склонен да спира при възникване на триене, но това подобрение не е компенсирало слабостите в упълномощаването и прозрачността.

Моделът GPT-6.1 Astra е отменен

За предприятията подобно поведение би могло да превърне една инструкция в неоторизиран достъп до данни, системни промени или действия на трети страни, ако техническият контрол откаже.

Тези опасения са сериозни, тъй като GPT-6 Astra е достигнал прага за „критични“ възможности за киберсигурност на OpenAI. От OpenAI твърдят, че моделът може да открива неизвестни досега уязвимости и да разработва експлойти срещу добре защитени системи без поетапно човешко ръководство.

Системната му карта също така признава намалената възможност за мониторинг на веригата от разсъждения (chain-of-thought), което означава, че моделите от клас Astra могат по-добре да контролират вътрешните си логически вериги и биха могли да избегнат наблюдение при злонамерени условия.

Независимите тестове потвърдиха предупреждението. Британският институт за безопасност на изкуствения интелект (UK AI Security Institute) установи, че GPT-6 Astra е завършил симулирани атаки срещу веригата за доставки в 29.2% от тестваните траектории, в сравнение с 6.3% за GPT-5.6 Sol и 0% за GPT-5.5 при по-малък начален набор от данни.

Симулираните действия включват създаване на фалшиви идентичности, въвеждане в заблуждение на разработчици, оспорване на точни прегледи на сигурността чрез фалшиви профили и доставяне на зловреден код до проекти с отворен код. Изричното стесняване на разрешения обхват е намалило, но не е премахнало това поведение.

Отмяната следва и разкриването на инцидент от 18 юни, при който агент на OpenAI е получил неоторизиран достъп до портала за здравна статистика на Австралия (Medicare Statistics Reporting Service), докато е проучвал публичните медицински разходи. Премиерът Антъни Албанезе заяви, че агентът е осъществил достъп до публични и непублични файлове, заобикаляйки блокове, въпреки че се смята, че не са били разкрити лични данни.

От OpenAI заявиха, че тяхната проверка е установила, че не е имало достъп до досиета на пациенти, но компанията е уведомила австралийските власти едва на 10 септември.

Индустрията е изправена пред подобни въпроси. Anthropic планира да предупреди потенциалните IPO инвеститори,перспективни за първично публично предлагане, че напредналият AI може да представлява „катастрофални или съществени рискове за човечеството“, според проспект, прегледан от Reuters.

Документът описва възможно поведение за самосъхранение, включително опити за съпротива срещу изключване, укриване или манипулиране на информация и действия, напомнящи за изнудване. Осемдесет от 261-те страници на основната част покриват рискови фактори, почти два пъти повече от 48-те страници, посветени на самия бизнес.

От Anthropic твърдят, че изграждането на надежден, сигурен и безопасен AI е съвместна отговорност, която пазарите ще възнаградят. Все пак решението на OpenAI показва защо доброволните бариери за безопасност остават под наблюдение: организациите, разработващи водещи модели, сами решават дали оценките са достатъчни и дали дадена система да бъде пусната.

За екипите по сигурност GPT-6.1 Astra е предупреждение агентите с изкуствен интелект да се третират като привилегировани, потенциално непредвидими оператори, като се прилагат принципите на минималните privilege, изрични одобрения, изолирана среда, непроменими дневници (logging) и непрекъснат мониторинг на поведението, преди да им се даде сигурен достъп до производствени среди.