Военен изпълнител е предоставил на личния си ИИ агент достъп до защитена система на Пентагона

По-рано тази година източници съобщават пред WIRED, че подизпълнител е предизвикал инцидент със сигурността в Министерството на отбраната (DOD), като е свързал защитена централизирана система, използвана от множество разузнавателни агенции, с личния си акаунт за Claude Code — AI агент за програмиране на Anthropic. Изглежда, че агентът, използван от изпълнителя, който е служител на глобалната консултантска фирма Accenture, след това е изпратил информация за системата на DOD, включително идентификационни данни за вход, към уебсайт на трета страна с висок риск.

Централизираната система съдържа контролирана некласифицирана информация (CUI), която се счита за чувствителна и не подлежи на публично разпространение без проверка. CUI може да включва информация за критична инфраструктура, задвижване на ядрени подводници и уязвимости към химически и биологичен тероризъм. Освен това експерти по сигурност заявяват, че достъпът до тази система би могъл да позволи експлоатирането на още по-чувствителни системи.

„Това излага на риск всички данни, които се намират там“, казва източник, запознат с инцидента, пожелал анонимност, тъй като няма разрешение да говори пред пресата. Ако софтуерът на третата страна е бил компрометиран, „някъде може да има някой с възможност да влезе в защитена среда, без никой да разбере. Това е 100 процента заплаха за националната сигурност и би могло да нанесе непоправими щети.“

Говорител на DOD заявява пред WIRED, че „Министерството не коментира състоянието на своите мрежи или системи.“

„Приемаме всички опасения сериозно. Тези твърдения бяха задълбочено и независимо разследвани и бе установено, че са неоснователни. Спазихме напълно нашите правни и договорни задължения“, казва говорител на Accenture пред WIRED. При настояване за подробности от Accenture не предоставиха разяснения кой е провел разследването, нито оспориха, че е имало нещо, което би могло да се определи като инцидент.

Твърди се, че служителят на Accenture е свързал защитена производствена среда с личния си акаунт в Claude, за да позволи на AI агент да пише и внедрява код. В момента на персонала на DOD е забранено да използва Claude. (От Anthropic насочиха WIRED към политиката за използване на компанията, която инструктира потребителите да не използват продуктите ѝ, за да „възпрепятстват работата на военни бази и свързаната с тях инфраструктура“ или да „заобикалят механизми за контрол на сигурността, като системи за удостоверяване, защита на крайни точки или инструменти за наблюдение без оторизация“.)

AI агентът на служителя на Accenture е работил в мрежата на DOD в продължение на два месеца, преди да бъде идентифициран и уязвимостта да бъде отстранена. Източници посочват, че въпреки рисковете за сигурността, породени от AI агента за програмиране, служителите на Accenture не са третирали инцидента като тежък или спешен. Служителите на DOD и федералните подизпълнители са длъжни да докладват за всеки инцидент в киберсигурността в рамките на 72 часа от откриването му, но източници сочат, че първоначално Accenture изобщо не е съобщила за пробива на правителството.

„В момента сме в конфликт с Иран“, казва служителят, отбелязвайки, че Иран се е опитал да хакне няколко федерални агенции и части от американската инфраструктура. „Това е най-неподходящият момент за подобно лекомислено отношение.“

В момента Accenture има договори с федералното правителство за над 3,5 милиарда долара, от които почти 605 милиона долара са с DOD. Компанията също така сключва договори и с други федерални агенции, като Министерството на образованието, Администрацията за общи услуги и Министерството на енергетиката, наред с други. По-рано този месец Федералното бюро за разследване установи, че подизпълнител на Accenture не е отстранил уязвимост, което е довело до получаване на достъп от хакерската група ShinyHunters до данните на хиляди служители на Бюрото. ФБР отстрани този подизпълнител в началото на октомври.

Мат Тринър, основател на Hunter Strategy — базирана във Вашингтон консултантска компания в областта на ИТ, казва, че въпросът илюстрира противоречивите изисквания, пред които са изправени държавните подизпълнители в по-широк план. „Организациите често биват наказвани за докладване на подобни инциденти, въпреки че това е правилното и законосъобразно действие“, казва Тринър. В много случаи, отбелязва той, дадена компания може да загуби правителствени поръчки, признавайки, че е претърпяла пробив в сигурността, въпреки че според него инцидент като описания е „категорично такъв, който трябва да бъде докладван“.

Тринър също така отбелязва, че нарастващият натиск върху изпълнителите да доставят проекти по-бързо и на по-ниска цена е в разрез с приоритизирането на безопасността и сигурността. „За съжаление всеки работи в система с конкуриращи се правила и стимули, и това съществуваше преди изкуствения интелект, но сега това е същият проблем на високи обороти“, казва Тринър.

Средата за програмиране, до която е осъществил достъп подизпълнителят на Accenture, работи в мрежата NIPRNet (Non-classified Internet Protocol Router Network) — мрежа на DOD, използвана за некласифицирана информация. Макар да се свързва с интернет — подизпълнители и служители могат да имат достъп до своите имейли и уеб браузъри през мрежата — тя е строго защитена.

Според източника, за да автоматизира процеса по писане на код и стартиране на облачни сървъри, подизпълнителят е предоставил идентификационните си данни за вход на агента Claude. Това е предоставило на агента административен достъп и му е позволило да заобиколи механизмите за контрол на сигурността, прилагани чрез стандартния процес на удостоверяване. AI агентът — който не само е писал код, но и го е качвал или запазвал в системата от името на служителя на Accenture — е трябвало да осъществява изходяща връзка с интернет, за да изпълнява задачите си. Правейки това, изглежда, че той е изпратил данните за вход на подизпълнителя, пароли и карта на NIPRNet към уебсайт на трета страна.

WIRED отказва да назове уебсайта на третата страна, за да предпази системата от по-нататъшна уязвимост, но Националният институт за стандарти и технологии (NIST) по-рано го е определил като високорисков, тъй като има уязвимост, която би могла да позволи на хакери да инжектират инструкции в AI агент за програмиране, за да откраднат идентификационни данни.

Системата, до която AI агентът е осъществил достъп, е съдържала CUI. „Информация от CUI среда не трябва да напуска тази инфраструктура“, казва източникът. „Няма яснота какво се е случило с информацията, включително с данните за вход, след като е била изпратена към [тази услуга], дали е била запазена“

В зависимост от агенцията и нейната дейност, CUI може да включва всичко — от лични данни (PII) до конфиденциална бизнес или договорна информация. Според уебсайта на DOD, CUI може да включва информация за „охраната и обезопасяването на експлозиви, опасни химикали или тръбопроводи“, документация, свързана с проектирането на „военно или космическо оборудване или технология;“ и „точното местоположение и количества радиоактивен материал.“

Различна от действителните данни, картата на тяхната структура би могла да бъде невероятно ценна за даден хакер. „След като един атакуващ разбере как тези елементи си пасват, дори ако те са публична информация, чувствителното е начинът, по който сглобяваме тези неща и ги превръщаме в полезна разузнавателна информация“, казва Тринър.

Макар че подобна карта може и да не даде пряк достъп на хакера до системата, казва той, тя би могла да помогне на противника да се придвижва по-бързо, след като вече е проникнал, и „да помогне на атакуващия да разбере къде са най-ценните активи“.

Джейк Уилямс, бивш хакер от АНС и преподавател в консултантската компания за разузнаване и сигурност IANS, споделя, че AI агент, изпълняващ код в NIPRNet, представлява „огромен проблем с огромно въздействие върху националната сигурност“.

Уилямс отбелязва, че макар отделните фрагменти от данни или информация да се считат за CUI (контролирана некласифицирана информация), „когато тази некласифицирана информация се обобщи и натрупа, сама по себе си тя може да се превърне в класифицирана“. Например местоположението на определени опасни материали може да е CUI, както и информацията относно уязвимостта на обектите, в които те се съхраняват. Обединени заедно обаче, те биха могли да разкрият информация, която следва да бъде строго класифицирана.

Но това не е единственият начин, по който класифицирана информация може да е била изложена на риск. Често инструменти и код се тестват в NIPRNet, преди да бъдат внедрени в по-чувствителни системи като Secret Internet Protocol Router Network (SIPRNet) — защитената мрежа на военните за класифицирана информация — и Joint Worldwide Intelligence Communications System (JWICS) — защитена интранет мрежа за строго секретна информация. Както SIPRNet, така и JWICS имат въздушна междина (air gap) — мярка за сигурност, означаваща, че те нямат връзка с външни мрежи. На практика това означава, че за хакер би било изключително трудно да получи отдалечен достъп до SIPRNet и JWICS.

Но чрез идентификационните данни за вход, източени от AI агент, хакер би могъл да получи достъп до NIPRNet и да вгради задна вратичка (backdoor) или друг зловреден код в даден инструмент или система. Без надлежна проверка този код би могъл да се окаже внедрен в някоя от изолираните системи.

„Кодът би могъл да функционира напълно нормално в NIPR и да извърши нещо зловредно и скрито в мрежата SIPR — това е 100 процента възможно“, казва Уилямс. Източването на данни от тези мрежи би било трудно, добавя той, но зловредният код може да бъде използван за атака срещу системите отвътре. „Смятам, че най-вероятният сценарий би бил някакъв вид разпределена атака за отказ на услуга (DDoS)“, казва той.

Тринър посочва, че дори нещо по-незабележимо, като забавяне на разузнавателните операции и дейности, би могло да нанесе щети и да накара потребителите да загубят доверие в даден инструмент, дори след като проблемът бъде отстранен.

Тъй като т.нар. vibe coding — или подаването на насоки (промптове) към AI асистент да напише кода за продукт, описан от инженер — става все по-разпространен, верификацията и проверката на кода се превръща във все по-голямо предизвикателство. Изкуственият интелект е способен да генерира код в обеми, които далеч надхвърлят човешката производителност, което прави детайлната му проверка времеемка и трудна.

„Когато използвате агент, нямате никаква представа за веригата на доставки или дори за веригата на логически изводи относно това какво в крайна сметка е генерирало кода“, казва Уилямс. „Голяма част от кода, върху който са обучавани тези големи езикови модели (LLM), сам по себе си съдържа уязвимости, и те могат да възпроизведат същите типове архитектура и същите архитектурни проблеми, които виждаме в друг код.“

Правителството разполага с метод за идентифициране на дефектен код в NIPRNet. Статичното тестване за сигурност на приложения (SAST) сканира кода за грешки и недостатъци, преди да позволи изпълнението му. Уилямс обаче отбелязва, че внедрена от хакер „задна вратичка не представлява уязвимост, дори и да не желаем тя да е там“, и следователно най-вероятно ще остане незабелязана от защитите на SAST. Освен това SAST обикновено не идентифицира структурни проблеми в логическата верига на създаване на кода.

Няма признаци, че киберпрестъпници са успели да проникнат в класифицирана или строго секретна система. Въпреки това Уилямс твърди, че инцидентът трябва да предизвика сериозна тревога. „От архитектурна гледна точка всяка информация за NIPR, която не може да се види чрез разузнаване от открити източници (OSINT), се счита от Министерството на отбраната (DOD) за строго поверителна, независимо дали даден елемент засяга класифицирана мрежа или не“, казва той.

Това не е първият случай, в който Министерството на отбраната бива изложено на риск поради проблеми, свързани с изкуствен интелект. Миналата година ProPublica разкри, че Microsoft е използвал „дигитални придружители“ в проектите си с федералното правителство, при които американски служители с допуск до класифицирана информация е трябвало да контролират код, написан от външни разработчици в Китай. Експерти, говорили пред ProPublica, заявиха, че програмата представлява специфичен риск за сигурността, тъй като американските служители често не са били в състояние сами да проверят щателно кода, оставяйки възможности за неволно внедряване на зловреден код в правителствените системи.“