В ироничен обрат на събитията, платформата за изкуствен интелект (AI) с отворен код Hugging Face разкри, че е станала жертва на хакерска атака, извършена от автономна система с AI агенти.

Компанията заяви, че е открила и реагирала на инцидента, насочен срещу нейната производствена инфраструктура, по-рано миналата седмица.

„Идентифицирахме неразрешен достъп до ограничен набор от вътрешни масиви с данни (datasets) и до няколко идентификационни данни, използвани от нашите услуги“, се казва в изявление на компанията.

Въпреки че разследването на пробива все още продължава, Hugging Face съобщи, че не е открила доказателства AI агентът да е манипулирал публични, достъпни за потребителите модели, набори от данни, пространства (Spaces) или собствената си верига за доставки на софтуер.

Началната точка на атаката е била самата линия за обработка на данни, като чрез злонамерен набор от данни са експлоатирани два пътя за изпълнение на код – по-конкретно в инструмента за отдалечено зареждане на данни и чрез инжектиране на шаблони в конфигурацията на набор от данни – с цел изпълнение на код върху работен възел (worker) за обработка.

С този достъп атакуващият е успял да ескалира правата си до достъп на ниво хост (node), събрал е идентификационни данни за облака и клъстера и се е придвижил странично в няколко вътрешни клъстера в рамките на един уикенд.

Точният голям езиков модел (LLM), използван за осъществяване на атаката, не е ясен, но кампанията е изпълнена от рамка за автономни агенти, извършваща „много хиляди индивидуални действия в рояк от краткотрайни изолирани среди (пясъчници), със самомигриращо командване и управление (C2), разположено в публични услуги.“

От Hugging Face заявиха, че оттогава са отстранили уязвимостта, довела до проблема – по-точно пътищата за изпълнение на код, използвани за първоначален достъп. Компанията е предприела и следните стъпки за възстановяване:

  • Премахна присъствието на атакуващия в засегнатите клъстери и пресъздаде компрометираните възли.
  • Анулира и промени засегнатите идентификационни данни и токени, като като предпазна мярка беше предприето и по-широко ротиране на тайни ключове.
  • Въведе допълнителни защитни механизми и по-строг контрол на достъпа до своите клъстери.
  • Подобри засичането и известяването, за да гарантира, че екипите за реагиране ще бъдат уведомени в рамките на минути, 24/7.

Като допълнителна мярка за сигурност Hugging Face настоява клиентите си да обновят своите токени за достъп и да прегледат скорошната активност в профилите си.

Компанията също така сподели, че е използвала модела с отворени тегла GLM 5.2 на Z.ai (китайски модел), за да извърши форенсик анализа, след като западните водещи модели са отхвърлили заявки, съдържащи реални команди от атаката, експлойти (злонамерен код) и артефакти от командните центрове (C2). Причината за това е била задействането на техните филтри за безопасност и липсата на възможност да разграничат действията на атакуващ от легитимните усилия за реагиране на инциденти.

„Този опит показва пропуск, за който си струва да се планира предварително“, заявяват от базираната в Ню Йорк компания. „Не знаем кой модел е захранвал агентите на атакуващия – дали хостван модел с преодолени защити (jailbroken) или модел с отворени тегла без ограничения. И в двата случая атакуващият не е бил обвързан с никакви правила за ползване, докато нашата собствена форенсик работа беше блокирана от защитите на хостваните модели, които първоначално опитахме.“

Практическият урок за защитниците: разполагайте с способен модел, който можете да стартирате на собствена инфраструктура, тестван и готов преди инцидент. Това се прави както за избягване на блокирането от филтри за безопасност, така и за предотвратяване на изтичането на данни и идентификационни данни на атакуващия извън вашата среда.