OpenAI неутрализира координирана кампания, включваща повече от 15 000 потребители, които са се опитали да извлекат защитени логически разсъждения от нейните модели с изкуствен интелект чрез злонамерена дестилация (adversarial distillation).
Защитените логически разсъждения се отнасят до вътрешния процес, който даден модел използва за обработка на задача, преди да генерира своя окончателен отговор. Тези скрити разсъждения могат да включват междинен анализ, стъпки за планиране и информация, която нарочно не се показва на крайните потребители.
Ако атакуващите успеят да ги получат в мащабни размери, те биха могли да получат по-пряк път за възпроизвеждане на разширените възможности на модела, без да правят съответните инвестиции в разработка, тестове за сигурност и инфраструктура.
От OpenAI заявиха, че кампанията не е свързана с пробив в техните системи за криптиране, бази данни или съхранени потребителски разговори. Вместо това операторите са манипулирали нормалните взаимодействия с модела, за да направят скритите разсъждения видими чрез координирани подкани (prompts) и техники, преминаващи между отделни разговори.
Един от наблюдаваните методи е включвал копиране на криптирани разсъждения от един разговор и подаването им в друг разговор с инструкции за декриптиране и транскрибиране на съдържанието.
OpenAI блокира кампания с 15 000 потребители
Съмнителната активност е започнала на 1 юли с малък обем. По-късно OpenAI отчита големи пикове на 24 и 25 юли, когато засича 16 000 заявки, съвпадащи със модел за извличане, идващи от над 4 000 потребители.
Разследването се е разширило от тези заявки и е разкрило свързана активност с подкани в по-голяма мрежа от над 15 000 потребители.
От OpenAI съобщиха, че са блокирали напълно операцията до 28 юли. Компанията приписва основна част от активността на лица, свързани с Moonshot AI — разработчикът на AI модела Kimi.
Въпреки това от OpenAI отбелязаха, че не могат да потвърдят дали всеки профил или оператор, участвал в по-широката кампания, принадлежи на един и същ злонамерен субект.
Поради това публично оповестената информация свързва основния клъстер с партньори на Moonshot AI, вместо категорично да приписва цялата мрежа от 15 000 потребители на компанията. OpenAI описа активността като по-широк проблем с киберсигурността на AI, а не като уязвимост, ограничена само до нейните собствени услуги.
Независими изследователи също са докладвали за свързани вектори на атака между различни модели и чрез компресиране на разговори чрез отговорно разкриване (responsible disclosure), помагайки на компанията да проучи по-широкия клас от техники за извличане на логически разсъждения.
В отговор OpenAI блокира или ограничи фалшивите профили, затегна контрола върху регистрацията и инфраструктурата и увеличи мониторинга за свързани мрежи от профили.
Компанията също така затвори вектор за повторно изпращане (replay pathway), който би могъл да позволи на някой с криптираните разсъждения на друг потребител да възстанови съдържанието им. Внедрени са и допълнителни защити за откриване и задържане на поточно генериран изходен текст (streamed output), който би могъл да разкрие скрити разсъждения.
Компанията сподели съответната информация и с индустриални партньори чрез Frontier Model Forum, както и чрез държавни канали за обмен на информация. Това е от съществено значение, тъй като преносимите или повторно използваемите артефакти на логически разсъждения могат да създадат сходни рискове и за други разработчици на водещи AI модели.
Инцидентът подчертава нарастващия проблем с киберсигурността за доставчиците на генеративен изкуствен интелект. Тъй като моделите стават все по-способни в програмирането, науката, автономните инструменти и други области с двойна употреба, скритите разсъждения могат да се превърнат във високостойностна цел за конкуренти и автори на заплахи.
От OpenAI заявиха, че очакват опитите за злонамерена дестилация да станат по-сложни и че ще продължат да подобряват откриването, прилагането на мерки, отказите на модела, защитата на инструментите и защитните механизми в облачните среди на своите партньори.