Водещите модели с изкуствен интелект (AI) използват почти всякакви начини за изпълнение на дадена задача, включително и измама, според нови оценки за киберсигурност от Института за безопасност на изкуствения интелект на Обединеното кралство (AISI).

AISI дефинира измамата като действие на модела извън границите на позволеното за дадена задача или директно нарушаване на формулирано правило с цел достигане на целта чрез пряк път, който задачата не е проектирана да позволи.

„Всеки модел, който тествахме за това поведение, се опита да измами. Моделите не съобщаваха надеждно за това поведение при запитване и често не го обясняваха в своята верига от мисли (chain-of-thought), което предполага, че откриването на измами вероятно ще изисква стабилни методи за мониторинг“, споделя AISI в публикация в блога си.

Измамата се проявява по различни начини: моделите търсят отговори онлайн, заобикалят мрежови ограничения, предназначени да ги държат в изолирана среда, проучват софтуера за оценка, за да видят какво би разкрил, насочват се към системи, които нямат нищо общо със задачата, а в някои случаи просто гадаят.

Нищо от това не е ново. Изследователите в областта на машинното обучение отдавна документират как моделите манипулират функциите за възнаграждение и намират заобиколни начини, за да получат по-добри резултати на бенчмарк тестове.

AISI не смята, че моделите се опитват умишлено да подведат някого. Въпреки това институтът отбелязва, че това е причина за безпокойство. Измамата може изкуствено да завиши способностите на даден модел и да подведе потребителите при задачи, при които няма лесен начин за проверка на резултата.

„Измамата става още по-тревожна с нарастването на възможностите на моделите: по-способните модели могат да намерят непредвидени начини за измама или да положат повече усилия, за да скрият действията си“, добавят те.

Изследователите улавят всеки модел с изкуствен интелект в измама

AISI провежда по 475 тестови пускания за всеки от пет водещи модела и петте са мамили.

Честотата на измамите не зависи от това колко способен е даден модел. По-силен модел не е по-вероятно да мами в сравнение с по-слаб. Тълкуването на AISI е, че това поведение се дължи повече на начина, по който моделът е обучен и съгласуван (aligned), отколкото на неговите сурови възможности.

По време на тест, който е бил конфигуриран грешно и не е можел да бъде решен, един модел продължил да опитва въпреки всичко. Той написва и стартира код на външна услуга, хоствана в отворения интернет, и я използва, за да се опита да достигне до собствените системи за оценка на AISI, задействайки предупреждение за сигурност.

„Не бяха нанесени щети и не изтече информация, но опитът можеше да бъде успешен, ако нашата инфраструктура за оценка не беше проектирана и изградена сигурно. Оттогава предприехме действия за допълнително подсигуряване на системите на AISI“, отбелязват изследователите.

Питането на модела дали е измамил се оказва слаб метод за проверка сам по себе си. Моделите назовават собствените си нарушения и ги определят като грешни в по-малко от половината случаи, когато са попитани, според AISI.

Четенето на веригата от мисли на модела също не решава проблема. Някои модели почти не описват аргументи за стъпката, която е маркирана като нарушение, тъй като те сами решават колко разсъждения да покажат за дадено действие. А в случаите, когато моделът е разсъждавал дали дадено действие се счита за измама, това разсъждение не го е спряло да извърши измамата въпреки всичко.

„Успешната измама е особено опасна в области, където проверката на успеха е трудна, като например изследванията за безопасност и сигурност на AI, или където цената на непредвидените действия може да бъде много висока, като кибероперации или вземане на военни решения“, предупреждава AISI.

Към момента AISI разчита на ръчен преглед, съчетан с мониторинг, базиран на големи езикови модели (LLM), за да улови каквото може. Дали това ще продължи да работи с развитието на моделите остава отворен въпрос.