Услугата GitHub Copilot може да отказва злонамерени заявки в директния чат, но същевременно да генерира същото вредно съдържание в рамките на кодови работни процеси, когато заявката е декомпозирана в сесия от няколко стъпки в средата за разработка (IDE).
Изследователите Абхишек Кумар и Карстен Мейпъл от Института „Алън Тюринг“ анализираха GitHub Copilot като интегриран ИТ агент в Visual Studio Code. Те се фокусираха върху поведението на механизмите за безопасност в рамките на пълни работни процеси за разработка, а не само върху единични подкани.
Те оцениха четири бекенд модела със затворен код, достъпни през Copilot: Claude Sonnet 4.6 и Claude Haiku 4.5 на Anthropic, както и Gemini 3.1 Pro и Gemini 3.5 Flash на Google. За целта са използвани 204 вредни подкани, взети от Hammurabi’s Code, HarmBench и AdvBench.
При директен чат и две прости базови линии моделите почти винаги отказваха съдействие, като генерираха вредни отговори само в 8 от общо 816 опита.
Въпреки това, при пълен работен процес за програмиране в няколко стъпки, същите подкани доведоха до 816 небезопасни попълнения от 816 опита, като всички те бяха оценени като конкретни и приложими от двама независими експерти.
Атаката не разчита на една единична подкана за заобикаляне на защитите (jailbreak), а на сглобяване на вредна цел през стандартни софтуерни етапи като изграждане на тръбопроводи (pipelines), въвеждане на бенчмаркове, оптимизация на метрики и итеративно пречистване на кода. Предпазните мерки на ниво единичен отказ или „една заявка, един отговор“ могат да преувеличат сигурността на ИТ кодиращите агенти, тъй като не засичат вредното съдържание, което се появява само в генерираните файлове или тестови структури.
Авторите твърдят, че защитите за ИИ кодиращи асистенти трябва да преминат отвъд блокирането на единични съобщения и да включват инспекция на ниво артефакти на генерирания код, както и мониторинг на намерението през цялата сесия.