Изкуствени интелект агенти, които весело се освобождават и хакват други системи, може да изглеждат като знак за предстоящото възходство на машините. В реалността това се случва, когато притискаме забележително умни, но и малко глуповати алгоритми да изпълняват всяка наша команда.

За първи път бях предупреден за това назряващо шоу с киберсигурността на AI агентите в края на 2025 г. Дон Сонг, професор в Калифорнийския университет в Бъркли и един от водещите световни експерти по изкуствен интелект и киберсигурност, ме хвана за ръката, докато излизах от академичната конференция NeurIPS. Сонг ми каза, че трябва да предупредя хората за хаоса, който вероятно ще произтече от бързо развиващите се хакерски умения на изкуствения интелект. Тя едва ли е склонна към AI хайп, така че аз надлежно го направих.

Но нещата ескалираха бързо, дори през последните осем месеца. Поредица от инциденти с действащи на своя глава AI агенти, които избягаха от своите ограничения и хакнаха външни системи с лекота, показва колко мощна е станала тази технология. Свързах се със Сонг, която наскоро се присъедини към Meta, за да я попитам накъде могат да тръгнат нещата оттук нататък и какво трябва да направим по въпроса.

Лошата новина е, че Сонг смята, че хакерските атаки с изкуствен интелект ще се влошат, преди да се подобрят. Добрата новина е, че изглежда ясно защо тези малки немирници излизат извън релсите на първо място.

„Те просто имат цели, които трябва да постигнат, и разполагат с много силни възможности“, споделя ми Сонг.

AI агентите не бяха толкова способни допреди година. Те правеха твърде много грешки и се отказваха твърде лесно. Но непрекъснатото обучение ги направи много по-умели.

Техника, наречена „обучение с подкрепление“ (reinforcement learning), позволява на алгоритмите да решават проблеми и им дава положителна и отрицателна обратна връзка за добри или лоши резултати. Програмирането е особено подходящо за това, тъй като системата за обучение с подкрепление може да възнагради даден модел, ако той създаде програма, която работи правилно.

Непрекъснатото обучение е причината, поради която AI моделите могат да предприемат множество „агентски“ стъпки — манипулиране на файлове, използване на софтуерни инструменти и достъп до мрежата — докато създават софтуер. Компанията за изкуствен интелект също така положиха много усилия, за да научат моделите да откриват уязвимости в софтуера и системите, в опит да автоматизират работата по киберсигурност.

AI моделите, разбира се, се обучават и да не вършат лоши неща. Проблемът е, че с подобряването им при изпълнение на човешки команди за програмиране и търсене на грешки, тяхното желание да завършат задачата е започнало да замъглява усещането им за правилно и грешно. С други думи, AI агентите не са зли — те просто са малко прекалено нетърпеливи да угодят. „Те са обучени да се опитват да завършат задачата“, казва Сонг. Проникването в интернет с цел измама на тест може да изглежда коварно, но вероятно е най-ефективният начин за свършване на работата.

Едно нещо, което тогава не оцених напълно, беше колко странно ще стане това: AI агенти, които обсъждат хакерски техники в частни форуми и измислят умни начини за измама на хора, за да постигнат целта си; дори се копират на други компютри, за да намерят повече ресурси.

От една страна, AI моделите са обучени да имитират изключително добре човешкото поведение, така че защо да не планират схеми, да мамят и да изнудват? Но от друга страна, хората (обикновено) разбират, че хакването и измамите не са правилни. Мисля, че тези епизоди илюстрират колко повърхностно е всъщност това човешко подражание: AI агентите не усвояват моралните разсъждения, демонстрирани дори от малки деца.

Сонг казва, че потенциалът агентите да излязат извън контрол или да бъдат използвани за злонамерени цели от атакуващи ще расте с нарастването на възможностите на изкуствения интелект. И най-добрият начин за справяне с проблема с излезлите извън контрол — или по-скоро прекалено ентусиазираните? — AI агенти може да включва използването на още повече изкуствен интелект срещу проблема.

Компаниите за изкуствен интелект вече използват вторични AI системи за мониторинг на поведението на първичните и може да се наблегне повече на откриването на случаи, в които AI моделите са стигнали твърде далеч.

Друга зараждаща се идея е интегрирането на по-добро усещане за правилно и грешно в обучението с подкрепление, което моделите получават, докато се учат да вършат работа. „Агентите могат да планират път с различни посоки към целта си. Мисля, че следващата стъпка, с която трябва да се справим, е как да ги накараме да разберат, че не всички пътища са равни“, казва Сонг. „Това е отворено изследване, но е нещо, което започваме да проучваме.“

Да се надяваме, че Сонг или някой друг ще успее да научи изкуствения интелект на правилния начин за следване на човешки команди.