Anthropic разкри в четвъртък, че нейните модели с изкуствен интелект са осъществили неоторизиран достъп до системите на три различни неназовани организации по време на тестове за киберсигурност. Компанията заявява, че Claude е достигнал до интернет „отвътре или докато е взаимодействал“ с външна среда за оценяване. Обявлението идва повече от седмица след като OpenAI разкри, че един от нейните AI агенти е проникнал в Hugging Face по време на друг тест за киберсигурност.

Разкритието е направено, след като Anthropic решава да извърши „мащабен ретроспективен преглед на нашите собствени оценки на киберсигурността“ вследствие на инцидента с OpenAI, според публикация в блога на Anthropic от четвъртък. Лабораторията за изкуствен интелект посочва, че първо е идентифицирала 141 006 теста, при които Claude е можел да получи достъп до интернет. След това е установила, че три различни модела на Claude са осъществили достъп до интернет при оценки, извършени от външната фирма за тестване на AI „Irregular“, и са проникнали в производствената инфраструктура на три различни организации.

Anthropic уточни, че инцидентите включват Opus 4.7, Mythos 5 и вътрешен изследователски модел за тестове. Най-ранните случаи са от април – което означава, че вероятно са останали незабелязани за обществеността в продължение на месеци. Точно както в случая с OpenAI, Anthropic умишлено е изключила защитните механизми, предназначени да ограничават AI моделите и да предотвратяват злоупотребата с тях. С други думи, това не са били версиите, предоставени на широката общественост.

„И при трите инцидента на Claude е била възложена задача от типа „улови флага“ (capture-the-flag), което е един от начините да оценяваме кибервъзможностите на даден модел“, посочва Anthropic в своя блог. Компанията добавя, че във всички случаи „подканващата инструкция за оценка на Anthropic е указвала на Claude, че неговата среда е симулация и че няма достъп до интернет“. Тя отдава пропуска на „недоразумение“ между Anthropic и Irregular.

Въпреки че Claude не е трябвало да има достъп до интернет, Anthropic заявява, че Irregular е конфигурирала неправилно машините, използвани за тестване на Claude, давайки на AI моделите възможност да сърфират в мрежата. „Нито ние, нито нашият партньор по оценяването бяхме наясно с тази неправилна конфигурация, докато не я открихме чрез допълнителния мониторинг на оценките миналата седмица“, се казва в публикацията.

„Вече разполагаме с доказателства, потвърждаващи, че и двете най-големи лаборатории за изкуствен интелект не само са се провалили в изолирането на своите агенти, но също така не са успели да открият заобикалянето на ограниченията им в реално време“, казва Джейк Уилямс, вицепрезидент по изследванията и разработките в Hunter Strategy. „Ясно е, че регулирането и държавният надзор върху тестването на AI са спешно необходими.“

Irregular и Anthropic не отговориха веднага на исканията за коментар.

За разлика от случая с OpenAI, Anthropic посочва, че Claude не е открил или експлоатирал сложни уязвимости. Вместо това той е разчитал на базови техники, „като експлоатиране на слаби пароли и неудостоверени крайни точки“.

OpenAI заяви, че нейният AI агент е осъществил достъп до интернет чрез експлоатиране на zero-day уязвимост. Но след това е преминал към достъп до системите на множество външни организации, използвайки същия набор от ежедневни пропуски в киберсигурността, както моделите на Anthropic. По-конкретно, OpenAI сподели, че AI агентът очевидно е открил идентификационни данни, които са били изложени в публичното интернет пространство.

Anthropic признава, че ако лабораторията за изкуствен интелект и нейният партньор за тестване бяха приложили повече мерки за „ешелонирана отбрана“, те биха могли да предотвратят инцидентите или поне да намалят вероятността от възникването им, повтаряйки отговора на OpenAI на нарастващите критики относно нейния собствен инцидент.

„Не разбирам как някоя от тези лаборатории за изкуствен интелект се държи така, сякаш това е просто „нещо, което се случва“, казва Уилямс. „Не е така. Това е небрежност.“

Лабораторията за AI подчертава, че на моделите е било казано, че нямат достъп до отворения интернет, и в по-голямата си част Claude е сметнал организациите, до които е получил достъп, за част от тестовата среда. Казано по друг начин, моделите в голяма степен не са разбрали, че първоначално са избягали от изолираната среда.

Но в някои случаи моделите с изкуствен интелект са разбрали, че има нещо нередно, и правилно са засекли, че инфраструктурата, до която осъществяват достъп, е реална. На най-стария модел, Opus 4.7, е била възложена задача да атакува фиктивна компания, която споделя име с реален уебсайт. Тъй като не е успял да изпълни мисията си в симулираната среда, той се е насочил към реалната компания, като успешно е компрометирал идентификационни данни и е осъществил достъп до производствена база данни. В определен момент, според Anthropic, моделът е разбрал, че „вероятно работи в реална среда“, но въпреки това е продължил с атаката си.

Mythos 5, най-способният модел, пуснат от Anthropic, също е осъзнал, че се намира в реалния свят, но е „достигнал по логически път обратно до заключението, че все пак е в симулация“.

Вътрешният тестов модел, който според Anthropic е най-способният от групата, е спрял атаката си, след като е намерил доказателства, че целите му са реални.

Както Anthropic, така и OpenAI заявяват, че са наели METR, друг външен оценител на AI, за извършване на независими прегледи.