Ново академично проучване от Колежа по компютърни и кибернауки „Бийкън“ разкри, че всеки автоматизиран скрипт, генериран от водещите модели с изкуствен интелект ChatGPT, Microsoft Copilot и Google Gemini, съдържа уязвимости в сигурността, които могат да бъдат експлоатирани.

Тъй като предприятията все повече разчитат на инструменти с изкуствен интелект за ускоряване на работните процеси по разработка, тези констатации подчертават сериозните рискове, свързани с внедряването на непрегледан код, генериран от изкуствен интелект, директно в производствени среди.

За да оценят качеството на сигурността на генерирания от изкуствен интелект код без пристрастия в подканите, изследователите са задали идентични, стандартизирани подкани в ChatGPT, Microsoft Copilot и Google Gemini. Тестовият пакет се фокусира върху три често срещани корпоративни задачи:

  • Уеб извличане (Web Scraping): Автоматизирани скриптове за събиране на данни.
  • Автоматизация на имейли: Автоматизирани програми за обработка на съобщения и известия.
  • Автоматизация на файлови работни процеси: Инструменти за наблюдение и управление на файловата система.

Общо са генерирани девет Python скрипта. Изследователите са оценили кода с помощта на Claude Code на Anthropic, за да симулират как потребител без експертни познания би проверил реално написаните от изкуствен интелект скриптове.

Този автоматизиран процес на преглед е открил 45 отделни констатации за сигурността, които са дедупликирани в 17 различни класа уязвимости. Всяка уязвимост е оценена съгласно рамката CVSS 3.1, съпоставена е с Топ 10 на OWASP и е съотнесена с рамката MITRE ATT&CK.

Дефекти в сигурността са открити във всеки генериран скрипт

Изследването демонстрира, че дефектите в сигурността са системни, а не специфични за конкретна марка. Броят на уязвимостите остава забележително постоянен във всички платформи: скриптовете на ChatGPT съдържат 13 уязвимости, тези на Copilot – 14, а на Gemini – 12, със статистически незначителни отклонения.

От 17-те идентифицирани уникални класа уязвимости, 9 се появяват в код, генериран от трите модела с изкуствен интелект (53% припокриване), а 14 присъстват в поне две платформи (82% припокриване).

Това показва, че рисковете за сигурността са присъщо свързани с естеството на исканата задача, а не с избора на доставчик на изкуствен интелект.

Основни уязвимости, наблюдавани в различните платформи:

  • Фалшифициране на заявки от страна на сървъра (SSRF): Невалидирани URL параметри във всеки скрипт за извличане на уеб данни, позволяващи на потенциални атакуващи да сондират вътрешни мрежи.
  • Преминаване по пътя (Path Traversal): Несанитизирани файлови пътища в скриптовете за извличане, имейл и наблюдение на файлове.
  • Дефекти при инжектиране: Инжектиране на имейл заглавия и шаблони във всеки скрипт за автоматизация на имейли, което позволява подправяне на съобщения или фишинг.
  • Символни връзки (Symlink уязвимости): Дефекти във всички скриптове за наблюдение на файлове, водещи до произволна манипулация на файлове.
  • Широко управление на изключения: Прекалено широки try-except блокове, които мълчаливо преглъщат критични за сигурността грешки.

Изследователите са каталогизирали 17 различни класа уязвимости в генерираната кодова база.

Подробният анализ на CVSS 3.1 илюстрира, че критичните дефекти обхващат мрежовата обработка, файловите системи и логиката за анализ на въвежданите данни.

Както е описано подробно в публикувания научен труд, анализът на Парето разкрива, че само 11 от 17-те класа уязвимости съставляват приблизително 80% от общия претеглен риск. Критични проблеми като SSRF, инжектиране на шаблони, инжектиране на имейл заглавия и преминаване по пътя оглавяват списъка.

Съпоставени с Кибер веригата за унищожение (Cyber Kill Chain) на Lockheed Martin, тези дефекти покриват първоначален достъп, изпълнение, достъп до идентификационни данни и странично движение.

Автоматизираните скриптове по своята същност се изпълняват с правата на изпълняващия потребител или хост средата. Непроверен скрипт може да взаимодейства с корпоративни споделени дискове, вътрешни SMTP сървъри и локални подмрежи без необходимост от вторично ескалиране на привилегии.

Тези рискове се усложняват, когато се комбинират с по-широки заплахи в екосистемата на изкуствения интелект, като атаки за инжектиране на подкани, насочени към инструменти за автоматично кодиране, или уязвимости в работните процеси с изкуствен интелект, които излагат на експлоатация основни корпоративни услуги.

Препоръчителни организационни предпазни мерки

Организациите трябва да установят ясни правила около разработката на софтуер, подпомагана от изкуствен интелект:

  • Задължителен преглед на кода: Налагане на прегледи на сигурността за целия код, написан от изкуствен интелект, преди внедряването му в реална среда, независимо от сложността на скрипта.
  • Ограничаване на разрешенията за изпълнение: Блокиране на скриптове, генерирани от големи езикови модели, от изпълнение с повишени привилегии или неограничен достъп до споделени мрежови дискове.
  • Приоритизиране на корекции за критични уязвимости: Използване на съпоставянията с CVSS, OWASP и MITRE ATT&CK за отстраняване на първо място на уязвимости от тип SSRF, преминаване по пътя и инжектиране.
  • Обучение на персонала: Напомняне на разработчиците и нетехническите служители, че работещият код не е еквивалентен на сигурен код.