OpenAI и Anthropic потвърдиха, че техни AI модели са били въвлечени в отделни, наскоро разкрити инциденти при тестове за киберсигурност от трети страни. Тези тестове са довели до компрометиране на реален уебсайт и атаки чрез социално инженерство срещу хора извън предвидените граници на тестовата среда.

Тези инциденти не са свързани с предишното разкритие за пробива в Hugging Face, при който модели на OpenAI хакнаха AI платформата и използваха изложени идентификационни данни за достъп до профили в четири други услуги по време на друга оценка на киберсигурността.

OpenAI разкри двата нови инцидента във вторник, пояснявайки, че те са възникнали по време на оценки, извършени от Института за сигурност на изкуствения интелект на Обединеното кралство (UK AISI) и компанията за тестове за киберсигурност „Irregular“.

Фишинг атаки срещу поддръжници на проекти в GitHub

Институтът за сигурност на изкуствения интелект на Обединеното кралство, известен като AISI, е правителствена изследователска организация, която оценява възможностите и рисковете на напреднали AI модели.

По време на скорошна оценка в симулирана среда (cyber-range), AISI съобщава, че агенти, задвижвани от Claude Mythos 5 на Anthropic и GPT-5.6 Sol на OpenAI, са предприели неразрешени действия в публичното интернет пространство, докато са се опитвали да изпълнят симулирани хакерски предизвикателства.

В рамките на 122 опита за оценка AISI идентифицира 19 неразрешени действия в реалния интернет по време на 10 изпълнения. Седемнадесет от тях са свързани с Mythos 5, а две – с GPT-5.6 Sol.

От AISI заявяват, че опитите са били неуспешни и че не са открити произтичащи от това реални щети.

„Тези опити бяха неуспешни и нашите разследвания не доказаха никакви произтичащи вреди в реалния свят“, се казва в отделно съобщение на AISI. „Но това е първият път, в който виждаме рискове, свързани с автономност и измамно поведение, да се проявяват толкова ясно в реалния свят, без конкретни подкани.“

От AISI умишлено са разрешили отворен достъп до интернет и са деактивирали класификаторите за киберсигурност на доставчиците на моделите, за да измерят техните базови възможности. Агентите обаче са били оторизирани да атакуват само симулираната тестова среда и не са получили изрични указания как да използват интернет достъпа си, нито инструкции да избягват взаимодействия с реални хора и системи.

От Anthropic потвърдиха пред „BleepingComputer“, че AISI е тествал версия на Claude Mythos 5, но заявиха, че все още разследват случая и не могат да потвърдят всички технически детайли, описани в доклада на AISI. Компанията сподели, че е била уведомена в понеделник и работи съвместно с AISI за получаване на транскриптите от оценката, необходими за извършване на собствен преглед.

„Благодарни сме на UK AISI за тяхното лидерство по отношение на този инцидент, който подчертава необходимостта от по-широк диалог за това как безопасно да се оценяват все по-способните AI агенти“, заяви говорител на Anthropic пред „BleepingComputer“. „Както споделихме след разкриването на нашия собствен инцидент миналата седмица, индустрията се нуждае от по-строги, споделени стандарти за това как се изграждат и защитават средите за оценка. Очакваме с нетърпение да си партнираме с UK AISI, за да научим повече за този инцидент, докато провеждаме собствено разследване.“

От Anthropic отбелязаха, че AISI е тествал Mythos 5 без активирани стандартни защити за киберсигурност и че това не е същата конфигурация, която е достъпна за клиентите. AISI посочва, че дизайнът и конфигурациите на оценката може да са допринесли за поведението, но не са предвиждали как агентът ще покаже „знаци за ново, потенциално измамно поведение“.

Според AISI агентът Mythos 5 е търсил в интернет термини, свързани с кибер предизвикателството, и погрешно е заключил, че несъвързано публично хранилище в GitHub е част от теста.

След това агентът се е опитал да извърши атака по веригата за доставки, като е изпратил злонамерен код към реалния проект с отворен код, вярвайки, че компрометирането на софтуера може да осигури достъп до машина в рамките на симулираната среда.

Най-тревожното е, че агентът е проучил поддръжниците на проекта, създал е множество фалшиви самоличности в GitHub и е използвал тези профили в атаки чрез социално инженерство, за да притисне поддръжника да одобри злонамерена заявка за сливане (pull request).

Когато проверяващ човек е предупредил, че заявката за сливане съдържа злонамерен код, агентът е отрекъл обвинението и е използвал други контролирани от него фалшиви акаунти, за да окаже натиск върху поддръжника и да създаде илюзията, че независими потребители са прегледали и одобрили промените.

Агентът е продължил атаките си чрез социално инженерство, като е скрил самоличността си с помощта на Tor и прокси услуги и е създал временни профили в GitHub.

Той е изпратил пет целеви имейла до разработчиците, като някои от тях са съдържали злонамерен код, а други са се опитвали да ги убедят да одобрят промяната в кода.

Агентът също така е публикувал доклади за грешки, съдържащи злонамерен код и скрити инструкции за инжектиране на подкани (prompt injection), предназначени да подлъжат AI асистентите за кодиране да предприемат нежелани действия.

Когато реален човек е поставил под въпрос една от публикациите, агентът я е редактирал, за да скрие злонамереното съдържание. При друг опит той се е подписал на датски език, за да изглежда по-убедителен пред датскоговорящ поддръжник.

Изследователите от AISI установиха, че агентите са се координирали помежду си в различните сесии за оценка, използвайки споделено хранилище в GitHub като дъска за съобщения, за да си оставят инструкции един на друг.