Стартъпът за киберсигурност Cathedral съобщава, че негови AI агенти са открили пътища за проникване във вътрешните бизнес системи на Anthropic за по-малко от 12 часа, демонстрирайки колко бързо автоматизираните инструменти за сигурност могат да намират и свързват във верига уязвимости в свързани услуги.

Дейността е проведена в рамките на програмата на Anthropic за външни изследователи, което я прави оторизиран тест за сигурност, а не престъпна атака, според The Washington Post.

Пробив във вътрешните системи на Anthropic

Според репортаж на The Washington Post агентите не са компрометирали основните AI модели на Anthropic, нито са експлоатирали собствен код на компанията. Вместо това от Cathedral заявяват, че са се възползвали от слабости в неназован софтуер от трети страни, използван за административни и търговски цели.

След като проникнали, изследователите получили достъп до стенограми от срещи, подробности за заплати и оферти за работа, както и вътрешни разговори в Slack относно усъвършенстваните AI модели на Anthropic.

В изявление за The Washington Post от Anthropic потвърждават, че Cathedral е осъществил достъп до ограничен набор от системи за продажби, човешки ресурси и ИТ. Тези системи са съдържали служебна информация за контакт на някои клиенти и партньори, заедно с основни записи на потребителски акаунти.

Въпреки това потребителските заявки (prompts), отговорите на Claude, изходният код и теглата на моделите не са били засегнати. Това ограничение е от съществено значение, тъй като теглата на моделите и изходният код са сред най-чувствителните активи на една AI компания.

От Anthropic посочват също, че инструментите им за мониторинг са сигнализирали за част от действията на Cathedral още преди стартъпът да ги докладва. Компанията е прекратила достъпа в същия ден, деактивирала е засегнатия бизнес софтуер и го е възстановила едва след като доставчиците са потвърдили, че корекциите за сигурност са готови.

Anthropic заявява, че не са открити доказателства лица извън Cathedral да са използвали уязвимостите. Двете страни обаче имат различия по отношение на отделни аспекти от теста. От Anthropic посочват, че Cathedral не са спазили напълно правилата на програмата bug bounty, тъй като не са разкрили цялата активност в системите на компанията.

От Cathedral твърдят, че са ограничили достъпа до данни до минимално необходимото за отговорно изследване. Доставчиците на засегнатия софтуер също са били уведомени, но имената им и точните дефекти не се разкриват, за да се намали рискът от злоупотреби.

Случаят показва защо сигурността на приложенията от трети страни вече е основно предизвикателство за лабораториите за изкуствен интелект. Дадена компания може надеждно да защити инфраструктурата на своите модели, докато свързаните инструменти за човешки ресурси, продажби, управление на идентичността и съвместна работа създават алтернативни пътища към чувствителни бизнес данни.

Екипите по сигурност трябва да опишат всяка софтуерна връзка, да ограничат правата на приложенията, да проверяват OAuth токените, да следят за необичайно поведение на акаунтите и бързо да премахват достъп, който вече не е необходим.

Случаят илюстрира също как AI агентите могат да съкратят времето за тестове за сигурност. Агентите могат да сканират системи, да изпитват различни вектори на атака, да стартират инструменти и да анализират резултатите с много по-малко изчакване между отделните стъпки.

Cyber Security News и преди е съобщавал как AI агенти могат да автоматизират веригата за кибератаки (cyber kill chain) и как Claude е експлоатирал софтуерни слабости по време на контролирани оценки. Тези примери не означават, че хората отпадат от процеса. Изследователите все още определят обхвата, оценяват констатациите и контролират разкриването на информацията.

Cathedral съществува едва от няколко месеца, но вече привлече значително внимание. Компанията е съоснована от Gavin Kliger, Luke Farritor, Marko Elez и Jack Stein – всички бивши служители на DOGE. Kliger е заемал и поста главен директор по данните в Пентагона.

През юли Reuters съобщи, че Cathedral е набрала 160 милиона долара при оценка от 1,4 милиарда долара, като инвестиционният рунд е воден от Andreessen Horowitz и Sequoia Capital. Висш служител от администрацията на Trump заяви пред The Washington Post, че три федерални агенции са сключили договори с Cathedral и че правителството работи със стартъпа по сценарии за противодействие на враждебен изкуствен интелект.