Етичен хакерски курс от нула до експерт. Хаквайте като black hat хакери. Тестове за проникване, Kali Linux, WiFi и уеб хакерство, както и хакерският начин на мислене зад тях.

Изследовател скри бял текст в Word файл и превърна Microsoft Copilot в червей, който пренаписва документите ви и се копира във всеки файл, до който се докосне. Microsoft все още не може да го спре. Той е докладвал за това на Microsoft на 6 март. След 144 дни и два кръга от корекции, включително пълно надграждане на модела, атаката все още се изпълнява. 🧐

Изследователят е Хокон Молой (Håkon Måløy), норвежки изследовател в областта на изкуствения интелект. Той е работил с Центъра за реагиране при инциденти по сигурността на Microsoft (Security Response Center) чрез координирано разкриване на информация, като им е предал стъпките за възпроизвеждане, видеоклиповете и точните подкани (prompts), след което е изчакал. Microsoft потвърди поведението, внедри защитни мерки и надгради модела под Copilot. Въпреки това изследователят е възпроизвел атаката на най-новия наличен модел и след това е публикувал разкритието.

По негови данни това е сред първите публични демонстрации на самокопиращ се AI червей, разпространяващ се чрез документи в масово използвана офис програма. Лабораторен експеримент, наречен „Morris II“, показа нещо близко през 2024 г., но той функционираше в рамките на AI имейл асистенти, а не във файловете, които хората си обменят по време на работа. Това е и третият пореден дефект в тази област, за който той съобщава. Първите два – заразяване на паметта на Copilot и скриване на инструкции в имейли – бяха коригирани окончателно от Microsoft. Този обаче компанията не успя да отстрани.

Ето какво е създал той и какво прави то, ако използвате Copilot в Word.

Първо, кой е атакуващият, тъй като е лесно да се обърка. Атакуващият не е Copilot. Атакуващият е този, който поставя скрития текст в даден документ. Copilot е просто инструментът, който те подлъгват да изпълни тази скрита инструкция в рамките на вашия собствен профил, с вашите собствени права за достъп.

Всичко започва със скрития текст. Той взема нормално изглеждащ документ – фалшив пазарен анализ за фиктивна компания, създадена за теста и наречена Tfosorcim Ltd. (което е изписано наобратно Microsoft). В долната част той поставя инструкция с бял текст на бял фон с миниатюрен шрифт с размер 8 пункта. Когато отворите този документ, виждате пазарен анализ. Не виждате инструкцията. Но Copilot я вижда.

Причината Copilot да я вижда е проста. Преди Copilot да изпрати текста на документа към езиковия модел, той премахва форматирането. Цвят, размер на шрифта – всичко това изчезва. Белият текст, който не сте могли да видите, се превръща в обикновен четим текст в момента, в който достигне до модела. Инструкцията никога не е била скрита за Copilot. Тя беше скрита само за вас.

Инструкцията е била написана като JSON блок, форматиран така, че моделът да я третира като част от задачата, а не като съдържание за обобщаване. Тя се състои от две части. Първата указва на Copilot да промени нещо в документа, който пише. Втората указва на Copilot да копира инструкцията в този нов документ, представена като безобидна бележка за проследяване на източниците, и да я скрие отново като бял текст, така че следващият човек също да не я види.

Молой не разкрива точния текст, за да не могат киберпрестъпниците да вземат готова работеща атака директно от неговия доклад.

Първият етап е установяването на плацдарм. Да кажем, че пишете тримесечен финансов отчет в Word и използвате въпросния пазарен анализ като източник. Copilot го прочита, изпълнява скритата инструкция и намалява наполовина финансовите показатели във вашия отчет. След това той поставя пълната инструкция в долната част на отчета ви с бял текст с размер на шрифта 8. Той не споменава нищо за променените числа и за добавения текст. Вие запазвате отчета и го споделяте, като той изглежда изцяло като ваше дело, тъй като това е вашият документ с вашето име на него.

В неговия тест промените са били умишлено очевидни, за да може да ги демонстрира – намалените наполовина числа се набиват на очи. Той отбелязва, че при реална атака инструкцията би указала на Copilot да промени смисъла и цифрите по начин, който би убегнал дори на внимателен проверяващ, и да не съобщава нищо за промяната. Често му се е налагало да добавя ред, който да кара Copilot да маркира какво е променил, тъй като в противен случай корекциите са били твърде незабележими. Точно това е частта, която трябва да притеснява финансовите екипи. Грешно число, което изглежда разумно, нанася повече щети от такова, което изглежда очевидно сгрешено, тъй като бива одобрено и предадено нататък.

Вторият етап е превръщането му в червей. Вашият заразен отчет сега е преносителят. Колега използва отчета ви за първото тримесечие като източник за отчет за второто тримесечие. Оригиналният пазарен анализ не фигурира никъде. И няма нужда. Скритата инструкция се пренася в документа за първото тримесечие, задейства се отново, намалява наполовина числата в отчета за второто тримесечие и се копира напред още веднъж.

Думата „червей“ изисква едно важно уточнение тук. Този червей не се прехвърля сам от машина на машина. Той се разпространява само когато човек или задача на Copilot, настроена да търси собствени източници, зареди заразен документ в Copilot отново. Това, което го прави подобен на червей, е, че веднъж след като инструкцията се озове в корпоративните файлове, ежедневната работа на служителите продължава да я разпространява напред, без те да го осъзнават.

Човекът зад това изобщо не се докосва до вашия профил в Microsoft 365. За него е необходимо единствено да постави един документ пред вас, за да...