В четвъртък Anthropic стана поредната компания за изкуствен интелект (ИИ), която разкри, че три от нейните модели, включително Claude Opus 4.7, Mythos 5 и неназован изследователски модел, са компрометирали три неназовани организации по време на тестове за киберсигурност без нейно знание.

Фирмата за ИИ заяви, че най-ранните инциденти датират от април 2026 г., като добави, че е направила разкритията след стартирането на „мащабен ретроспективен преглед“ в отговор на скорошно разкритие от OpenAI, че комбинация от нейни модели е избягала от изолираната среда чрез експлоатиране на несъобщавана досега zero-day уязвимост в Artifactory, за да получи достъп до интернет и да проникне в производствените системи на Hugging Face с крайна цел да измами при оценка.

„След преглед на 141 006 оценки, при които Claude е можел да получи достъп до интернет, идентифицирахме три инцидента, при които моделът е осъществил достъп до интернет от или докато е взаимодействал с оценъчната среда на Irregular, един от нашите партньори за оценка от трети страни, и след това е придобил неоторизиран достъп до производствената инфраструктура на три различни организации“, заявиха от Anthropic.

При всички идентифицирани инциденти се твърди, че на Claude е била възложена задача за capture-the-flag (CTF) предизвикателство за оценка на възможностите на моделите, като целта е била да се намери тайна информация, скрита на друга машина в мрежата, с всякакви възможни средства.

Въпреки че подканата за оценка, предоставена на Claude, е указвала, че средата е симулация и че той няма достъп до интернет, Anthropic заяви, че поради грешна конфигурация машините, до които моделът е имал достъп, са останали с активна интернет връзка поради това, което описва като „недоразумение“ между лабораторията за ИИ и партньора за оценка Irregular.

Това, от своя страна, е накарало търсенето на Claude да го отведе до реални системи в отворения интернет и да ги третира като част от обхвата на упражнението, което на практика е позволило на модела да компрометира инфраструктурата на засегнатите организации, използвайки основни техники, включително експлоатиране на слаби пароли и неудостоверени крайни точки.

Anthropic подчерта, че моделът не е открил или експлоатирал сложни уязвимости и че във всеки случай е продължил да работи за завършване само на конкретната CTF задача, която оценката му е възложила.

„Въпреки това, в някои случаи нашият по-стар модел е продължил атаката си дори след получаване на доказателства, че работи в реалния интернет; най-новият ни модел е спрял, след като е разпознал, че е в интернет“, казват те. „В нито една от тези ситуации Claude не се е филтрирал сам и не се е опитал умишлено да избяга от тестовата си среда.“

Подробностите за трите инцидента са следните:

  • Инцидент с участието на Claude Opus 4.7, при който той е компрометирал инфраструктурата на реална компания чрез идентифициране и експлоатиране на уязвимости, мислейки, че това е част от предизвикателството. Това е довело до извличане на идентификационни данни за приложения и инфраструктура и достъп до база данни, съдържаща няколкостотин реда производствени данни. Това е и единственият инцидент, при който моделът е продължил да атакува системата, въпреки че е „разбрал“, че работи в реална среда.
  • Инцидент с участието на Claude Mythos 5, свързан с инструкции за инсталиране на несъществуващ PyPI пакет, което е накарало модела да положи „значителни усилия“ за качване на Python пакет със същото име, така че системите на фиктивната компания да го изтеглят и инсталират автоматично. За да постигне това, той е намерил неблокиран доставчик на електронна поща, регистрирал е PyPI акаунт и след това го е използвал за качване на пакета.

По време на приблизително едночасовия прозорец, в който пакетът е бил активен в регистъра, той е бил изтеглен от 15 реални системи, включително легитимна компания за сигурност, която рутинно инсталира Python пакети и ги сканира за зловреден код. Смята се, че скенерът е счел компрометирания пакет за безопасен за инсталиране, което е довело до извличане на идентификационните данни на компанията към външна крайна точка, настроена от модела. След това идентификационните данни са били използвани за достъп до по-нататъшна инфраструктура от тази компания. Нито името на пакета, нито това на компанията бяха разкрити.

  • Инцидент с участието на вътрешен изследователски тестов модел, който е сканирал около 9000 цели и е компрометирал приложение с достъп до интернет на една компания, използвайки техники като четене на идентификационни данни от изложена страница за отстраняване на грешки и SQL инжекция. Моделът обаче по-късно е прекратил атаката сам, след като е осъзнал, че „компрометираният хост се намира в облачен акаунт без връзка с CTF предизвикателството“.

Както и в случая с инцидента с OpenAI, се казва, че моделите при всяка от тези оценки са работили без стандартните защитни механизми, които се прилагат, когато са общодостъпни за потребителите. Тези оценки са били изпълнявани от специална инфраструктура, която според компанията няма достъп до чувствителните вътрешни системи на Anthropic или клиентски данни.

Anthropic също така призна, че няколко мерки за защита в дълбочина са могли да предотвратят възникването на тези инциденти или най-малкото да намалят тяхната вероятност. Валидиране на целия достъп до интернет...