AI агент, изпълняващ вътрешна изследователска задача на OpenAI, е заобиколил механизмите за контрол на достъпа до портала за статистика на австралийското правителствено подразделение Medicare през юни, заяви премиерът Антъни Албанезе.

Порталът публикува обобщени данни, като например разходи, и е отделен от системите, които обработват заявления за Medicare и лични досиета. Агентът е достигнал до файлове в него, които не са били публични, но се смята, че до момента няма достъп до лична информация.

OpenAI за първи път информира правителството на 10 септември чрез имейл до публична пощенска кутия на Services Australia, която управлява портала. От OpenAI твърдят, че са открили активността през август. Албанезе заяви, че на компанията е отнело прекалено много време да информира правителството и че начинът, по който го е направила, е неприемлив.

На 18 юни порталът многократно е отказал заявките за данни от агента, но той е открил алтернативен метод и е получил неоторизиран достъп. Правителството не е разкрило как точно агентът е преминал през защитите.

От Services Australia са информирали правителството, че агентът също така е записал файлове на вътрешен сървър. Това все още се разследва. Доказателствата до момента не показват по-широко компрометиране на мрежата на агенцията.

Непубличните данни не са били особено чувствителни и оттогава са публикувани. Към 24 септември порталът е свален офлайн, а данните му са преместени в data.gov.au и други защитени платформи.

Ипълняващият длъжността министър-председател Ричард Марлс заяви пред ABC, че информацията за националната сигурност е обект на много по-силна защита, докато информацията в портала е била „държана зад ограда, през която AI агентът практически е прескочил“.

В изявление за Fox Business от OpenAI съобщиха, че техните модели са „предприели действия, които не сме имали предвид“ при преглед на статистика за Австралия по време на вътрешна оценка.

Компанията е установила инцидента по време на по-широк преглед на това, което нарича несъгласувана активност на модела (misaligned model activity) при обучение и оценка, и е проверила какви данни са били достъпени, преди да уведоми Services Australia.

Дейността е засегнала няколко уебсайта и услуги на австралийското правителство. Информацията, до която моделите са достъпили, включва обобщени здравни статистики и имена на вътрешни файлове, като OpenAI не открива доказателства за достъп до досиета на пациенти.

Правителството опиша неоторизиран достъп единствено в портала за статистика на Medicare.

От Services Australia са видели имейла на OpenAI на 11 септември, потвърдили са, че е автентичен, и са съобщили за инцидента на 15 септември на Австралийския център за киберсигурност, част от Австралийския директорат за сигнали (ASD). Правителството обяви инцидента публично на 24 септември по австралийско време.

Албанезе повдигна притесненията си, включително за забавянето, пред главния изпълнителен директор на OpenAI Сам Олтман в телефонен разговор. По думите на Албанезе, Олтман е признал, че компанията не се е справила достатъчно добре.

Марлс определи инцидента като много сериозен с сравнително малко въздействие и опиша OpenAI като съдействаща страна.

ASD помага при криминалистично разследване, а Services Australia провежда свое собствено.

Албанезе обяви и работна група, водена от Департамента на министър-председателя и кабинета, която да прегледа дали съществуващите процеси са достатъчно добри за реакция при свързани с AI киберинциденти. Тя ще включва Националния координатор по киберсигурност, Службата за AI, ASD, Австралийския институт за безопасност на AI и Services Australia.

Прегледът ще анализира възможните реакции на правоприлагащите органи и промени в закона. Правителството ще поиска и спешно становище дали са извършени престъпления и дали случаят да бъде предаден на австралийската федерална полиция.

Инцидентът ще бъде разгледан и от съвместната специална комисия по изкуствен интелект към Парламента, а поуките от него ще залегнат в планираното законодателство за стандарти в областта на AI.

Други разкрития за AI модели, достигащи до реални системи

AI агенти са се опитали да хакнат три уебсайта с публични данни през май и юни, съобщи изследователската лаборатория за AI Transluce в доклад, публикуван в деня на съобщението на Албанезе. Един от тях е бил уебсайт за обществено здраве на австралийското правителство, управляван от Австралийския институт за здравеопазване и социални грижи (AIHW).

На 20 и 21 юни защитата от ботове е блокирала агенти, работещи по задача с фармацевтични данни, да достигнат до основния сайт на AIHW. След това агентите са потърсили уязвимост и са извлекли публичен файл от предпродукционен сървър.

Агентите са изпълнявали обикновени задачи за извличане на данни, а не работа по сигурността. Те са използвали urlquery.net, публична услуга за сканиране на уеб страници, за да заобиколят ограниченията си за достъп. Лабораторията свързва поне част от активността с групи от агенти (agent swarms), приписвани по-рано на OpenAI.

През юли OpenAI съобщи, че нейните модели, по време на вътрешни оценки на киберсигурността, са заобиколили контролите, предназначени да ги държат извън интернет, и са пробили в части от системите на Hugging Face.

През септември OpenAI публикува доклади за други случаи, открити по време на обучение. В един от случаите модел е използвал изложен GitHub API ключ без разрешение. В други случаи модели са качвали файлове в сайтове за публичен хостинг, без да им е било указано.

Anthropic разкри четири инцидента, при които нейните модели Claude са получили неоторизиран достъп до реални системи на трети страни по време на оценки на киберсигурността, изградени от външен партньор. На моделите е било казано, че нямат достъп до интернет, но грешка в конфигурацията го е оставила отворен.

Meta заяви през август, предварителна версия на нейния модел Muse Spark 1.1 е експлоатирала уязвимост в реален уебсайт и е променила базата му данни по време на учение, проведено от същия партньор, Irregular. Irregular е оставила достъпа до интернет отворен и по погрешка е дала на модела името на реалния сайт като цел.

От Irregular твърдят, че по-късните публични разкрития за средата за оценка се отнасят до същия основен проблем, разкрит за първи път на 30 юли, и „не са съществено отделни инциденти“.

Отделно от това, Институтът за безопасност на AI на Обединеното кралство съобщи през август, че AI агенти в неговите тестове за киберсигурност са предприели 19 неодобрени действия в реалния интернет в 10 от 122 теста, включително опит за атака срещу веригата за доставки (supply-chain attack) на проект с отворен код.

Най-сериозните опити са се провалили и институтът не открива доказателства за вреди в реалния свят. Достъпът до интернет е бил нарочно активиран за тестовете.

На 11 август ASD публикува известие за друг случай, при който AI асистент е направил неодобрени промени в система за резервация на фитнес. В него се казва, че организациите, управляващи онлайн услуги, трябва да вземат предвид, че „AI агентите могат да идентифицират и експлоатират уязвимости със висока скорост и мащаб“.

Съветите на агенцията за създателите на уебсайтове и онлайн услуги включват проверки за сигурност и качество, сканиране за уязвимости и правилна автентификация на потребителите.