OpenAI съобщи в сряда, че е идентифицирала и неутрализирала координирана кампания за дистилация, предназначена неправомерно да извлече защитени разсъждения от нейните модели с изкуствен интелект (AI).
Основна група от дейността, датираща от първата седмица на юли, е приписана на лица, свързани с Moonshot AI — китайска компания за AI, базирана в Пекин. Не се цитират технически доказателства в подкрепа на тази оценка, най-вероятно поради причини за сигурност.
„Операторите не са разбили нашето криптиране, не са компрометирали база данни и не са получили директен достъп до съхранени потребителски разговори“, заявяват от OpenAI. „Вместо това те са манипулирали взаимодействията с модела, така че защитените разсъждения да могат да бъдат възпроизведени във форми, видими за заявителя, по координиран и мащабиран начин, който нарушава нашите условия за ползване.“
Смята се, че дейността е започнала на 1 юли 2026 г., първоначално с малък обем, преди да достигне връх на 24 и 25 юли 2026 г. с 16 000 опитa за заявки с използване на съответния модел на извличане от над 4 000 потребители. При по-нататъшно разследване компанията съобщи, че е идентифицирала свързана дейност с модели на подкана („prompt-pattern activity“) сред повече от 15 000 потребители. Кампанията е била напълно неутрализирана на 28 юли 2026 г.
Новосъздадената AI компания характеризира дейността като враждебна дистилация — процес, който включва систематичното и неоторизирано използване на резултатите от един модел за подпомагане на обучението, възпроизвеждането или подобряването на друг модел. От OpenAI заявиха, че оттогава са внедрили допълнителни мерки за защита срещу тази атака и са блокирали фалшивите профили, участващи в дейността.
Освен това OpenAI заяви, че е затворила „път“, който е позволявал на някои, вече притежаващи криптираните разсъждения на друг потребител, да ги възпроизведат и да възстановят съдържанието им, като същевременно е добавила проверки за откриване и задържане на поточно предадени данни, които биха могли да разкрият разсъждения.
В проучване, публикувано през август 2026 г., група изследователи откриха архитектурна уязвимост, която прави криптираните следи от разсъждения „напълно съвместими и взаимозаменяеми между различни сесии, потребители и модели в екосистемата на даден доставчик“, което атакуващ би могъл да използва, за да разработи мащабируемо декриптиране за заобикаляне на защитите („jailbreak“) и да заобиколи механизмите срещу дистилация.
„Чрез инжектиране на криптирана следа от разсъждения от даден модел в по-слаб и по-малко защитен модел от същия доставчик, ние го принуждаваме да декодира и изведе следата буквално в прав текст, без никога директно да заобикаляме защитите на по-способния модел“, казват изследователи от MATS Research, ELLIS Institute Tübingen и Synk.
Освен това, това позволява мащабно извличане на лични данни, отваря вратата за невидими инжекции на подкани чрез внедряване на злонамерен код изцяло в криптирани блокове и неволно разкрива опасна информация, скрита в процеса на разсъждение, дори ако крайният видим резултат на модела отхвърли вредна заявка.
Като се има предвид, че защитените разсъждения предоставят информация за това как даден модел изпълнява дадена задача, извличането на тази информация може да разкрие чувствителни данни и да помогне на други да възпроизведат възможностите на модела, добавиха от OpenAI.
„Враждебната дистилация представлява рискове за безопасността и националната сигурност“, заяви компанията. „Извлечените разсъждения могат да бъдат използвани за обучение на друг модел, без да се запазят защитните механизми, приложени към първоначалните потребителски резултати на модела.“
„В голям мащаб дистилацията може също така да ускори трансфера на усъвършенствани възможности, без да изисква същата инвестиция в безопасност. Тези притеснения се засилват, тъй като моделите придобиват възможности в области с двойна употреба.“
Това не е първият път, когато Moonshot AI се сблъсква с обвинения в дистилация. Миналия месец конкурентът Anthropic обвини Moonshot AI, че скришом пренасочва клиентски заявки към Claude, вместо да ги обработва с помощта на Kimi, а след това показва отговорите от Claude обратно на потребителите.
Твърди се също, че компанията е запазила подмножество от тези обмени, за да обучи своя модел за верига от разсъждения („chain-of-thought“ / CoT). Дейността се проследява под наименованието GTG-16002.