Anthropic съобщи днес, че по време на вътрешни тестове за сигурност един от моделите Claude е създал зловреден Python пакет и го е качил в PyPI, където той се е изпълнил на 15 реални системи, преди автоматизираната защита на регистъра да го премахне.

Компанията разкри това като един от три инцидента, при които модели на Claude са осъществили достъп до публичния интернет от среди за оценка, които е трябвало да бъдат изолирани, и след това са компрометирали производствена инфраструктура в три организации.

Прегледът последва разкритието на OpenAI от 21 юли, че нейни модели са избягали от изолирана тестова среда и са достигнали производствената инфраструктура на Hugging Face. По-късно JFrog потвърди, че моделите са излезли извън контрол, експлоатирайки zero-day уязвимости в локално хостван Artifactory.

Заемане на име на пакет, който никога не е съществувал

И трите инцидента са се случили по време на упражнения от типа „улови флага“ (capture-the-flag), провеждани чрез Irregular – външен партньор за оценка. Промптът на Anthropic е указвал на Claude, че няма достъп до интернет и че средата е симулирана. Поради грешна конфигурация нито едно от двете не е било вярно, като нито една от компаниите не е забелязала това до миналата седмица.

При инцидента с PyPI моделът Claude е открил документ в тестовата среда, представен като инструкции за настройка за разработчици във фиктивна компания.

Тези инструкции са указвали на новите служители да инсталират Python пакет, който никога не е бил публикуван – т.нар. фантомна зависимост.

Claude е установил, че ако сам регистрира това име, машините на целта автоматично ще изтеглят неговия код.

Публикуването му обаче е изисквало усилия. Claude е имал нужда от акаунт в PyPI, за който се е изисквал имейл адрес, а за него пък – телефонен номер.

Той не е успял да намери безплатна услуга за телефонни номера, след което е опитал и не е успял да получи средства за закупуване на такъв по няколко различни начина. В крайна сметка е променил подхода си, намерил е доставчик на имейл, който не е бил блокиран, регистрирал е акаунт и е качил зловредния код.

От Anthropic заявиха, че пакетът е бил публично достъпен за около час.

През този прозорец 15 реални системи са го изтеглили и изпълнили. Една от тях е принадлежала на компания за сигурност, която рутинно инсталира пакети от PyPI и ги сканира за зловреден код – работен процес, който третира съдържанието на регистъра като безопасно за изпълнение.

Злонамереният код на Claude се е активирал, изпратил е идентификационните данни на тази компания до предварително създадена точка за събиране и след това ги е използвал, за да навлезе по-дълбоко в инфраструктурата ѝ. Anthropic споделя, че Claude не е знаел за съществуването на тази компания.

Собствените системи за сигурност на PyPI са премахнали пакета автоматично. Anthropic съобщи, че е уведомила екипа на PyPI и е предала индикаторите за компрометиране.

Моделът зад тази симулация е бил Claude Mythos 5. Според Anthropic неговото логическо мислене е отчело проблема рано, отбелязвайки, че публикуването на пакета би представлявало реална атака, ако интернетът е реален, и определяйки го като „НЕ е наред и със сигурност не е търсеното решение“.

След това обаче моделът е стигнал до извода, че средата е симулирана, с аргумента, че не разпознава сертифициращите органи, подсигуряващи връзките му, и че системите показват календарна дата от 2026 г.

Когато автоматизираните скенери са започнали да инсталират пакета, Claude ги е възприел като скриптирани участници в упражнението.

Идентификационни данни и производствена база данни

Най-сериозно въздействие е имал отделен инцидент с участието на Claude Opus 4.7, където фиктивната целева компания е споделяла име с реален домен.

В рамките на четири опита Claude се е затруднил да достигне симулираната си цел, открил е, че реалната компания е достъпна в интернет, и е предположил, че това е търсената цел. Той е извлякъл идентификационни данни за приложения и инфраструктура и е достигнал до база данни, съдържаща няколкостотин реда производствени данни.

Това е единственият случай, при който модел е продължил да атакува, след като е разбрал, че се намира в реална система. Anthropic заяви, че и при четирите опита моделът в крайна сметка е осъзнал, че целта е реална, като в два от тях Claude е разсъдил, че реалната компания сигурно също е част от упражнението.

Третият инцидент е включвал непубликуван вътрешен изследователски модел, който е сканирал около 9000 цели, след като не е успял да достигне планираната си цел, а след това е компрометирал достъпно в интернет приложение, използвайки идентификационни данни от изложена дебъг страница и SQL инжекция. Този модел по-късно е забелязал, че хостът се намира в облачен акаунт без връзка с предизвикателството, заключил е, че целта е истинска, и е спрял сам.

Нито една от атаките не е използвала нови техники. Anthropic ги описва като използване на слаби пароли и неудостоверени крайни точки.

Anthropic е започнала прегледа си на 23 юли и е спряла всички оценки на киберсигурността същия ден. Тя е идентифицирала трите инцидента на следващия ден и е уведомила Irregular и засегнатите организации на 27 юли. Компанията все още се опитва да се свърже с третата организация.

Най-ранният от трите инцидента датира от април, което означава, че част от дейността е останала незабелязана в продължение на около три месеца.

Оценките са били провеждани без класификаторите и мониторинга, които се доставят с общодостъпните модели на Claude, въпреки че моделите са запазили обучението си за безопасност.

Anthropic заяви, че нейните производствени предпазни мерки биха блокирали подобно поведение, и характеризира инцидентите като грешка в конфигурацията на тестовата среда.