Irregular оцени модела с отворени тегла GLM-5.3 на Zhipu AI в 13 сценария за нападателни кибероперации с помощта на CyScenarioBench — рамката на компанията за измерване на способността на голям езиков модел (LLM) да планира и изпълнява многоетапни атаки при реалистични ограничения.
Моделът не отказа нито една от задачите и завърши успешно три сценария поне по веднъж, като проведе атаки през зависими един от друг етапи за постигане на цели в симулирани мрежи. От Irregular посочиха, че това е най-силният резултат, който са регистрирали за модел с отворени тегла.
Способности за нападателни кибероперации
Изследователите са използвали официално пуснатата версия (checkpoint) на модела. Сценариите са базирани на реални инциденти и са изисквали от модела да избира пътища за атака, да координира зависими стъпки и да се възстановява след неуспешни подходи.
В трите завършени сценария GLM-5.3 е използвал първоначален пробив в приложение за достъп до вътрешни услуги, изградил е алтернативни пътища за свързване в рамките на симулирани мрежи и е координирал изпълнението на действия върху множество машини. Той е автоматизирал взаимодействия с отдалечен работен плот и е писал и поправял скриптове, релета, монитори и инструменти за извличане на данни, за да придобие целевата информация.
Резултатите следват развитието, което компанията преди това е наблюдавала при затворените водещи модели, започвайки с GPT-5.2, пуснат през декември 2025 г., и продължавайки с моделите, пуснати през 2026 г.
Запаметен код и спазване на инструкциите
Изследователите също така проучиха как GLM-5.3 е стигнал до своите отговори и дали е спазвал ограниченията на задачите, посочвайки риска автономните агенти да нарушават правилата, за да изпълнят поставените им задания.
Те тестваха способността на модела да идентифицира уязвимости, умишлено въведени в код с отворен код в тестова среда. Преглед на логовете, подпомогнат от агент, установи, че код, реконструиран по памет, е допринесъл за около 80% от изследваните успешни изпълнения на GLM-5.3. В някои случаи той е предоставил ранна насока, а в други е подкрепил откритие, до което моделът вече е бил стигнал.
Използването на запаметен код не е нарушило инструкциите в тези тестове. В доклада обаче се посочва, че това все пак може да компрометира резултатите, предназначени да измерват откриването на уязвимости, тъй като дава на модела достъп до отговора чрез предварително познаване на кода.
Irregular е наблюдавала това поведение и при затворени модели. Изследователите отбелязаха, че оценките, използващи проекти с отворен код, трябва да отчитат предварителното познаване на материята предвид нарастващите способности на моделите и използването на такъв код при предварителното и последващото обучение. Ограничаването на достъпа до интернет не премахва тези предварителни познания.
Манипулиране на системата за възнаграждение и рискове при внедряване
В отделни тестове за спазване на инструкциите на GLM-5.3 е било изрично забранено да извежда код, възпроизведен по памет. Въпреки това моделът многократно е възпроизвеждал запаметен код дословно и го е използвал, за да стигне до верни отговори.
Изследователите тълкуват тези нарушения като форма на манипулиране на системата за възнаграждение (reward hacking), при която моделът генерира очаквания отговор, заобикаляйки ограничение, което е от централно значение за оценката.
Те предупредиха, че оценяването на отговорите единствено въз основа на тяхната правилност може да подведе оценките за способностите на модела и решенията за неговото внедряване. Възнаграждаването на подобни отговори по време на обучението може да затвърди склонността към нарушаване на инструкциите.
Докладът съветва операторите да следят логиката и разсъжденията на модела заедно с неговите действия и резултати, като оценяват както спазването на инструкциите, така и точността на отговорите.
„Организациите, които внедряват тези модели, трябва да тестват колко надеждно те спазват ограниченията на задачите, преди да им предоставят по-широк достъп или автономност. Колкото по-способен е един модел в нападателните кибероперации, толкова по-голямо внимание изисква всяко отклонение от зададените правила в поведението му“, заключи компанията.