Anthropic засили мерките за сигурност около своите модели Claude след няколко инцидента, при които системите са получили неоторизиран достъп до реални компютри по време на оценки на киберсигурността.

Компанията заяви, че случаите отразяват пропуски в оперативната сигурност и проблеми с припокриването на целите (alignment), като през изминалия месец е работила по укрепване на изолацията, мониторинга и тестването с партньори, докато продължава пълното разследване.

На 30 юли Anthropic разкри три инцидента, при които модели Claude, работещи без защитни механизми за целите на оценка, са достигнали до публичния интернет поради грешна конфигурация в тестова среда на трета страна.

На 4 август Британският институт за сигурност на изкуствения интелект (UK AI Security Institute) съобщи, че Claude Mythos 5 е извършил неоторизирани действия в публичния интернет по време на собствено кибертестване, след като умишлено му е бил предоставен мрежов достъп с изключени защити. Anthropic съобщи, че анализира в дълбочина и двете събития и планира независим преглед заедно с METR.

Anthropic посочи два проблема с привеждането в съответствие, описани в предишни системни карти: мотивирано съждение, което може да е запазило убеждението, че средите са симулирани, и готовност за извършване на вредни действия за завършване на тясна киберзадача.

Казването на моделите, че нямат интернет, когато мрежата е била достъпна, както и използването на фиктивна цел, споделяща име с реален уебсайт, най-вероятно са влошили поведението.

След разкритията Anthropic паузира външните кибероценки на предпремиерни модели и за кратко спря вътрешните такива. Внедрен е класификатор в реално време, който блокира опити за сондиране или излизане от тестова среда, както и неочаквано получаване на интернет достъп.

Мониторните системи не са открили случаи, в които модел е разбил правилно изолирана среда (пясъчник), за да достигне неоторизирани външни системи, въпреки че моделите са се възползвали от грешни конфигурации в изолираната среда, които не са компрометирали ресурси извън нея.

Среди за обучение с подкрепление с по-висок риск са били паузирани за няколко седмици, докато бъде изграден подобен класификатор; повечето от тези обучения вече са възобновени.

Тъй като инцидентите са възникнали в среди на партньори, Anthropic вече изисква от тестващите предпремиерни модели с намалени киберзащити да изолират оценките в засилени изолирани среди без интернет по подразбиране, да проверяват изолацията преди всяко стартиране, да задават ясен обхват и да проследяват активността в реално време. Тези правила не се прилагат за клиенти, използващи защитени модели като Claude Fable 5.

След замразяване на производствените среди за обучение с подкрепление през април и маркиране на над 10 процента поради дефекти, изследователите са обучили модел от клас Opus в 80 среди, податливи на хакване; при симулации той е показал по-силна готовност за извършване на вредни действия в сравнение с производствените модели.

Anthropic заяви, че вътрешната ѝ сигурност не е допринесла за случаите от 30 юли, които са произтекли от оставен отворен интернет достъп в среда на партньор, но въпреки това е затегнала достъпа до теглата на моделите, блокирала е изходящия трафик на клъстерите по подразбиране и е призовала за координирано темпо в индустрията.