Google потвърди, че неговият модел с изкуствен интелект Gemini е достъпил защитени системи, принадлежащи на три компании по време на оценка на киберсигурността, след като грешка при тестването е изложила агента на публичния интернет.

Инцидентът показва как една автономна система с изкуствен интелект може да излезе извън изолираната среда (пясъчника), когато контролите, дефинициите на целите и мрежовата изолация се провалят, дори без инструкции за атака срещу организации.

Учението е проведено от Irregular — компания, която оценява способностите на AI модели в областта на киберсигурността. Gemini е участвал в предизвикателство от типа „захващане на знамето“ (capture the flag) — тест за сигурност, при който операторът трябва да локализира скрита информация в симулирана целева среда.

На Gemini е направено указание да разследва софтуер, свързан с фиктивна компания. Фиктивният бизнес обаче е споделял едно и също име с реална организация, докато интернет свързаността, която не е трябвало да бъде налична, е била случайно активирана.

Google Gemini AI хакна 3 реални компании

Тази комбинация е създала провал в обхвата. Вярвайки, че достъпните през интернет активи са част от разрешения тест, Gemini е търсил извън симулираната среда и е достигнал до корпоративни системи. В един от случаите моделът многократно е отгатвал пароли, докато влезе в защитена услуга. По време на други две стартирания той е локализирал изложени идентификационни данни в публични кодови хранилища и ги е използвал, за да се автентифицира пред системи, управлявани от две компании, според The Wall Street Journal.

Хедър Адкинс, вицепрезидент по инженерна сигурност в Google, заяви, че Gemini е използвал публично достъпна информация и е напасвал идентификационни данни за достъп до уебсайтове, за които е вярвал, че са в обхвата на оценката. От Google съобщават, че моделът е спрял и в трите случая, след като е разпознал, че е срещнал истинска инфраструктура, а не фиктивна цел за тестване. Компанията поддържа становището, че не са причинени щети и не класифицира поведението като разминаване в целите на модела (model misalignment), тъй като защитните механизми на Gemini в крайна сметка са прекъснали дейността.

Irregular е уведомила Google в края на юли, след тестовете през май. Впоследствие Google е информирала трите засегнати субекта и е работила с партньора си по тестването за промяна на процеса на оценка.

Адкинс каза, че епизодите показват защо мощните модели трябва да бъдат тренирани да действат отговорно. От Irregular съобщиха, че познатите проблеми от тяхна страна са коригирани и че съответните лаборатории за изкуствен интелект и засегнатите организации са били информирани по време на разследването.

Инцидентът не е ограничен само до технологията на Google. Модели, разработени от OpenAI, Anthropic и Meta, също са получили непредвиден интернет достъп по време на оценки, извършвани от Irregular, въпреки че резултатите са били различни.

Anthropic, например, заяви, че преглед на 141 006 съответни тестови стартирания е идентифицирал три инцидента, при които модели Claude са достъпили инфраструктура на реални организации. Нейното разследване отдава това на недоразумение, което е оставило налична интернет свързаност на живо въпреки подканите (prompts), указващи на моделите, че се намират в симулация.

За защитниците епизодът подчертава познат урок по сигурност в нов контекст: подканите не са граници на сигурността. Казването на един AI агент, че няма интернет достъп, не може да замени изходящото филтриране, стриктните списъци с позволени адреси, изолираните тестови мрежи и постоянния мониторинг.

Средите за оценка трябва да разрешават заявки само към одобрени домейни, да блокират произволни изходящи връзки, да използват синтетични организации, които не могат да съвпаднат с реални имена, и да предоставят кратковременни данни за достъп без стойност извън изолираната среда.

OWASP подобно препоръчва инструменти с минимални привилегии, изрично упълномощаване за чувствителни операции, пълни одитни следи и човешки контрол за действия с голямо въздействие.

Методите с данни за достъп са също толкова важни. Напасването на пароли е успели срещу една услуга, докато ключове и тайни, изложени в публични хранилища, са отворили останалите.

Организациите трябва да прилагат многофакторна автентификация, да ограничават честотата на опитите за вход, да предотвратяват повторната употреба на пароли и непрекъснато да сканират хранилищата с изходен код за изтекли токени и пароли. CISA предупреждава,телно твърдо кодираните данни за достъп в изходния код значително увеличават риска и препоръчва мениджъри на тайни, сканиране в процеса на разработка и защитена от фишинг многофакторна автентификация.

Решението на Gemini да спре е ограничило последствията, но това не трябва да се третира като основна контрола за ограничаване. Автономните киберагенти могат да действат по-бързо от човешките надзорници и могат да тълкуват двусмислени цели неочаквано и бързо.

Затова безопасното тестване изисква многослойни контроли около модела, включително прецизни граници на упълномощаване, интервенция в реално време, неизменими одитни логове и автоматично изключване, когато агентът влезе в контакт с неодобрен актив.