Основателят и главен изпълнителен директор на Meta, Марк Зукърбърг, положи значителни усилия да рекламира сигурността на новия си AI асистент Muse, твърдейки, локално разработеният асистент е „създаден от самото начало с мисъл за поверителността и сигурността“. Уязвимост от тип нулев ден (zero-day), която дава на локално работещи приложения и терминални команди пълен контрол върху агента, повдига сериозни съмнения. Допълнително повдигайки въпроси, в неделя Amazon започна да блокира Muse от своя сайт.

Meta представи Muse преди няколко седмици. Асистентът „запазва часове, попълва формуляри и се справя с обслужването на клиенти“, „проактивно поема задачи вместо вас“ и може да „извършва покупки, да генерира изображения, да създава документи и да се свързва с любимите ви приложения и услуги“. Приложението за macOS (любопитно е, че няма версия за Windows) работи и с акаунтите на потребителя в WhatsApp, имейл, календар и социални мрежи. Когато дадена задача изисква инструмент, който не съществува, Muse създава такъв в движение.

Meta прекалява с хвалбите за сигурността на Muse

Разбира се, за да може Muse да прави каквото и да е от тези неща, потребителите първо трябва да му предоставят достъп до своите акаунти. Това включва удостоверяване на асистента пред всяка услуга и, тъй като приложението работи на macOS, даването му на разрешения за широк набор от ограничени от операционната система ресурси на устройството, като запис на файлове на диска, достъп до микрофона и камерата и проследяване на местоположението и календарите. Apple прекара години в разработване на тези защити, за да предотврати достъпа на инсталирани приложения или команди, въведени в терминала, до тези ресурси, очевидно защото компанията ги счита за заплаха за сигурността. Muse напълно обезсмисля тези мерки по подразбиране.

Уязвимостта от тип нулев ден позволи на всяко приложение или терминална команда да получи достъп до токена, който удостоверява потребителите в техния акаунт в Muse. Разработчиците на Meta са проектирали асистента така, че всяко локално инсталирано приложение или изпълнен код, независимо от разрешенията за macOS, които има, може да променя дълъг списък от недокументирани настройки. Повечето от тях са сравнително безобидни, като например управление на тъмния режим. Една настройка обаче беше всичко друго, но не и безобидна. Тя позволяваше на процесите да променят крайната точка (end point), където се извършва транскрипцията. Обикновено това е адрес на сървър, управляван от Meta. Атакуващите биха могли да експлоатират тази уязвимост, като променят местоположението към своя собствена крайна точка. Ако това се беше случило, киберпрестъпниците щяха да разполагат с токена, който дава пълен контрол върху акаунта в Muse.

„Можем да манипулираме агента и да използваме неговите привилегии, за да правим каквото си поискаме“, каза Патрик Уордъл, експерт по сигурността на macOS, който откри zero-day уязвимостта, пред Ars преди издаването на спешната корекция. „Така че вместо да се налага да пишем много подробен зловреден софтуер за Mac от тип stealer, можем просто да използваме самия AI асистент.“ Уордъл заяви, че е разработил няколко концептуални атаки (proof-of-concept), които правят неща като записване на зловредни файлове на диска и правене на снимки, в много случаи без никаква индикация дори за бдителен потребител.

Повече от 12 часа след публикуването на този материал Meta съобщи, че е пуснала спешна корекция, която отстранява уязвимостта от тип нулев ден.

Meta публикува две публикации в рамките на две седмици, документиращи решенията за дизайн, взети за гарантиране, че асистент с толкова изключителен достъп до потребителски данни и ресурси е сигурен и защитен. Публикациите идват на фона на разкрития, че вътрешни тестове на модели от Anthropic и Google са довели до пробиви в сигурността на външни трети мрежи, които участващите инженери никога не са възнамерявали да атакуват. При традиционното хакерство, извършвано само от хора, тези действия най-вероятно биха довели до повдигане на наказателни обвинения. Публикациите на Meta вероятно са съобразени с последвалата реакция и призивите за забавяне на разработването на AI в отговор.

Уордъл каза, че разработчиците на Meta са взели няколко дизайнерски решения, които са направили неговия експлойт възможен. Едно от тях е изборът диктовката за Muse да се извършва в облака, където Meta може да я записва. macOS отдавна предоставя прост начин за приложенията да обработват диктовката и транскрипцията в процеси, които остават сигурно на устройството. Ако разработчиците бяха избрали тази по-безопасна алтернатива, атаката нямаше да бъде възможна.

Друго погрешно решение е да се позволи на всяко приложение да контролира всички недокументирани настройки. Вероятно Meta е възнамерявала приложенията, работещи с Muse, да контролират настройките на потребителския интерфейс, и то по разбираеми причини. Възможността за всяко приложение или команда да контролира крайна точка, където се обработва поверителна потребителска реч, е съвсем различен въпрос. Заедно взетите дизайнерски решения повдигат въпроси относно това колко точно усилия са положили разработчиците в проектирането и тестването на сигурността и поверителността на новия асистент.

„За мен летвата е безкрайно по-висока по отношение на сигурността на тези приложения. Те не трябва да са перфектни, но когато погледнете Muse, според мен изглежда сякаш изобщо не са мислили за сигурността, което е наистина тревожно“, каза Уордъл. „Най-малкото те трябва да мислят за сигурността от самото начало, а просто не го правят.“

Приблизително 12 часа преди Уордъл да разкрие zero-day уязвимостта, Amazon започна да блокира хората да използват Muse за пазаруване в сайта. Потребителите, които опитаха, получиха съобщение, че Muse е „неоторизиран AI агент, който нарушава Условията за ползване на Amazon“.

„Смятаме за съвсем естествено приложенията на трети страни, които предлагат да извършват покупки от името на клиенти от други бизнеси, да работят открито и да зачитат решенията на доставчиците на услуги относно това дали да участват или не“, се казва в изявление на Amazon по имейл. „Това помага да се осигури безопасно, сигурно и надеждно потребителско изживяване и именно така работят останалите, включително приложенията за доставка на храна и ресторантите, от които вземат поръчки, приложенията за услуги за доставка и магазините, от които пазаруват, както и онлайн туристическите агенции и авиокомпаниите, за които резервират билети за клиенти. Автономните приложения от трети страни като Muse имат същите задължения и поискахме Meta да премахне Amazon от изживяването.“

Една ClickFix атака е всичко, което е необходимо

Има няколко начина за извършване на атаките. Един от тях е сървърът на атакуващия да действа като прокси, поставено между потребителя на Muse и крайната точка на Meta. След като потребителят въведе гласовата подкана, сървърът на киберпрестъпника добавя подкана, задействаща зловредна команда, като например изпращане на архив от всички съобщения в WhatsApp до атакуващия. След като това се случи, авторът на заплахата получава постоянен контрол върху акаунта в Muse, тъй като токенът автоматично се изпраща и към зловредния сървър.

Уордъл е основател на фондацията Objective-See, с нестопанска цел, фокусирана върху сигурността на macOS. Той е и автор на поредицата книги The Art of Mac Malware и бивш служител на NASA и Агенцията за национална сигурност (NSA). Уордъл заяви, че планира да обсъди уязвимостта по-подробно и други заплахи от AI асистенти на конференцията за сигурност Objective by the Sea през ноември.

Един от контрааргументите, повдигнати от разработчиците на приложения, които могат да бъдат експлоатирани след компрометиране на дадено устройство, е че след като това се случи, всички гаранции за сигурност отпадат. Този стандарт не приляга добре в този случай. Уордъл установи, че проста вариация на ClickFix атака — техника, която стана изключително ефективна при подмамването на хора да инфектират устройствата си — е всичко, което се изисква от атакуващия, за да поемат контрола върху акаунт в Muse.

Уордъл демонстрира използването на проста терминална команда за скрито изпращане на подкана към крайната точка на Meta, което задейства отговор. За да предотврати изрязването и поставянето на подканата от злонамерени субекти при реални атаки, подканата на Уордъл пита само как е възможно тя да идва от атакуващ без привилегии. Muse погрешно отговори, че подобно действие е невъзможно.

Изявлението на Meta с 12 часа закъснение удобно пренебрегна лекотата, която ClickFix атаките предоставят за задействане на експлойти — сценарий, който специално поисках от компанията да коментира. В изявлението си Meta посочи, че уязвимостта от тип нулев ден „не е отдалечен експлойт“, въпреки че все по-ефективната измама чрез социално инженерство има същия ефект. Meta също така не признава, че дефектът е разбил архитектура за сигурност, чието изграждане е отнело години на Apple. Meta все още не е обяснила защо е използвала облачно базирана транскрипция, вместо опцията за обработка на самото устройство, вградена в macOS.

Както вече беше отбелязано, изключителният достъп, който Muse изисква, за да работи по предназначение, поставя допълнителна тежест върху неговите дизайнери. Както повечето подобни AI агенти — и противно на твърденията на Meta — на Muse не може да се има доверие. Не е ясно кога и дали изобщо някога ще може.