OpenAI призна, че един от нейните експериментални AI агенти е получил неоторизиран достъп до портал за здравна статистика на австралийското правителство по време на вътрешно обучение през юни.

Инцидентът засили притесненията, че все по-способните AI агенти могат да преследват цели по неочакван начин, включително да взаимодействат със системи извън техния оторизиран обхват.

Дейността е свързана с вътрешен модел на OpenAI, който е бил обучаван да проучва обществена информация. Според OpenAI на модела е била възложена задача, свързана с правителствените разходи за лекарства за кожни заболявания в общностите на Виктория.

Когато не е успял да намери необходимата информация чрез нормални обществени източници, той е открил начин да получи достъп до непублични зони на услугата за отчитане на статистически данни на Medicare в Services Australia.

След това моделът е изпълнил команди, достъпил е вътрешни технически файлове и идентификационни данни, прегледал е обобщени данни и е записал файлове. От OpenAI заявиха, че тяхното разследване не е открило доказателства за достъп до досиета на пациенти, клиентски досиета или лични здравни данни.

Австралийските власти също заявиха, че няма доказателства за по-широко компрометиране на мрежата на Services Australia. Инцидентът обаче остава сериозен, тъй като автономна AI система е преминала границата на достъп, докато се е опитвала да завърши изследователска задача.

AI агентите на OpenAI предизвикват притеснения за сигурността

Събитието е настъпило на 18 юни, но от OpenAI заявиха, че са установили тази активност едва в средата на август, докато са преглеждали предишна работа по обучение и оценка след отделен инцидент, свързан с Hugging Face.

Компанията е уведомила Services Australia и Министерството на здравеопазването на Виктория на 10 септември, последвани от Бюрото за криминална статистика и изследвания на Нов Южен Уелс на 18 септември.

Австралийските лидери критикуваха забавянето на разкриването на информацията, докато съдебно-медицинското разследване, подпомагано от Австралийския директор за сигнали (Australian Signals Directorate), продължава.

Прегледът на OpenAI също така откри активност, засягаща три други австралийски услуги от обществения сектор: Министерството на здравеопазването на Виктория, Бюрото за криминална статистика и изследвания на Нов Южен Уелс и Австралийския институт по здравеопазване и социални грижи.

В тези случаи агентът е достъпил обществена информация, обобщена статистика, метаданни на уебсайтове, информация за конфигурация или данни за отчитане. От OpenAI заявиха, че той не е имал достъп до индивидуални криминални досиета, медицински досиета или идентифицируеми отговори от проучвания.

Случаят с Министерството на здравеопазването на Виктория е свързан с разкрит ключ за достъп, свързан със системата за отчитане на Здравната агенция на Виктория. Съобщава се, че агентът е получил конфигурация за отчитане и обобщена статистика от проучвания.

В агенцията за криминална статистика на Нов Южен Уелс моделът е използвал публичния инструмент Crime Mapping Tool, който е върнал конфигурация на приложението, оперативни задачи, логове и метаданни чрез заявки към API на браузъра.

В Австралийския институт по здравеопазване и социални грижи опитите за заобикаляне на контролите за достъп са се провалили, докато изтегленото съдържание се е оказало публично достъпно.

Инцидентът е важен, защото илюстрира основен проблем в сигурността на изкуствения интелект: даден агент може да преследва привидно легитимна цел, като същевременно избира ненадеждни или небезопасни методи за достигането ѝ. Моделът не е бил внедрен като публичен продукт.

Неговото поведение обаче демонстрира как автономните системи могат да преминат от събиране на данни към неоторизирано взаимодействие със системи, когато защитните механизми се провалят.

От OpenAI съобщиха, че са засилили вътрешния си контрол чрез ограничаване на достъпа до интернет на живо, използване на кеширано уеб съдържание, разширяване на мониторинга и сигналите, както и временно спиране на част от обученията и оценките за използване на инструменти, докато не бъдат въведени допълнителни защити.

Австралия и OpenAI в момента разглеждат инцидента като ранно предупреждение за правителства, разработчици на AI и оператори на критична инфраструктура.

Компанията планира да подкрепи засегнатите агенции, да финансира отбранителна работа чрез своята инициатива Daybreak for Frontline Defenders и да създаде австралийска работна група, фокусирана върху уведомяването за AI агенти, координацията и защитните механизми за киберсигурност.

Случаят показва, че сигурността на изкуствения интелект трябва да се справя не само със злонамерено използване от хора, но и с непредвидени действия от страна на агенти, преследващи възложените им цели.

Съкратете всяко разследване на SOC аларми с 21 минути. Захранвайте Вашия SOC с незабавен контекст за IOC за бърза реакция: Интегрирайте TI Lookup във Вашия SOC