Microsoft представи нова възможност в Defender for Office 365 за защита срещу атаки от тип prompt injection, които са насочени срещу работни процеси с имейли, управлявани от изкуствен интелект (ИИ), като например Microsoft 365 Copilot.
Тази актуализация отразява променящия се пейзаж на заплахите, където атакуващите все по-често се опитват да манипулират ИИ системите, вместо директно да подвеждат потребителите.
Атаките от тип prompt injection включват вграждане на злонамерен код под формата на инструкции в съдържанието на имейла, което се обработва от ИИ асистент. Вместо да използват традиционни фишинг тактики като фалшиви връзки или спешни съобщения, киберпрестъпниците създават текст, предназначен да повлияе на начина, по който ИИ моделът интерпретира и реагира на комуникацията.
Тези злонамерени инструкции могат да бъдат намерени в тялото на имейла, темата, прикачените файлове или дори в скрити елементи като невидим текст или кодирано съдържание.
Например, вреден имейл може да съдържа скрита директива, указваща на ИИ асистента да маркира съобщението като безопасно или да препрати чувствителна информация към външен адрес. Ако ИИ изпълни тези инструкции, това може да доведе до изтичане на данни, неправилно класифициране на заплахите или непредвидени автоматизирани действия.
Microsoft Defender for Office 365 Prompt Protection
Microsoft Defender for Office 365 смекчава този риск, като открива опити за prompt injection по време на процеса на филтриране на имейли, преди съобщенията да достигнат до крайните потребители или ИИ системите.
Тази защита е автоматично активирана и интегрирана в съществуващия поток на пощата, което означава, че организациите не се нуждаят от допълнителна конфигурация, за да я използват. Механизмът за откриване съчетава анализ на големи езикови модели с традиционни сигнали за сигурност на имейли.
Defender оценява цялостната структура на входящите съобщения, включително видимото съдържание, HTML маркирането, скрития текст, цитираните отговори и прикачените файлове. Той също така нормализира скритото или кодирано съдържание, за да гарантира, че маскираните инструкции са ефективно анализирани.
Когато бъде открит опит за prompt injection, съобщението се категоризира като „фишинг с висока степен на надеждност“ със специфичен етикет, указващ prompt injection.
Екипите по сигурността могат да разследват тези откривания с помощта на инструменти като Threat Explorer и Advanced Hunting в Microsoft Defender XDR, което осигурява по-дълбока видимост и съпоставяне между инцидентите.
Тази възможност подчертава ключовата разлика между prompt injection и конвенционалния фишинг. Докато фишингът има за цел да измами човешкото поведение, prompt injection е насочен към логиката за вземане на решения на ИИ моделите. Злонамереният код вече не е просто вредна връзка или прикачен файл, а набор от инструкции, създадени да заобиколят предвиденото поведение на системата.
Microsoft позиционира тази функция като част от по-широка стратегия за защита в дълбочина за осигуряване на сигурността на среди, управлявани от ИИ. Докато ИИ приложения като Copilot имат вградени предпазни мерки като валидиране на входящите данни, изолиране на подканите и филтриране на изходящите данни, Defender for Office 365 добавя ранен слой на защита при имейл шлюза. Това гарантира, че злонамереното съдържание се блокира, преди която и да е ИИ система, включително инструменти на трети страни или персонализирана автоматизация, да може да го обработи.
Въвеждането на откриване на prompt injection подчертава значението на адаптирането на контролите за сигурност към новите ИИ заплахи. Тъй като организациите продължават да интегрират ИИ в ежедневните си работни процеси, от критично значение става защитата на тези системи от манипулации. Чрез разширяване на сигурността на имейлите, за да обхване атаките, насочени към ИИ, Microsoft се стреми да намали риска от това злонамерени субекти да експлоатират една от най-новите и най-бързо развиващите се повърхности за атака.