Когато полицията във Филаделфия разкритикува Anthropic миналата седмица за подаване на фалшив сигнал за неразкрито убийство, реших, че това може да стане един от първите случаи, в които AI компания понася правни последствия за неправомерни действия на своите автономни агенти.

Инцидентът е възникнал на 18 юли, когато Anthropic обяви, че тества способността на своя модел Claude Haiku 4.5 да изпълнява „примерни задачи на произволно избрани уеб страници“. На модела е било указано да „не изпраща нищо деструктивно“, но въпреки това Claude изпраща сигнал до полицията, търсеща информация за текущо разследване на убийство. „Спомням си, че видях някой, отговарящ на описанието в района… през този период от време“, пише Claude. Подаденият сигнал, който не включва име или информация за контакт, попада в папката за спам, а служителите на реда не са го прегледали, докато Anthropic не открива гафа на 28 септември и не уведомява управлението на 7 октомври.

Съзнателното предоставяне на фиктивна информация за престъпление на полицията е правонарушение в Пенсилвания, но до момента властите не са повдигнали обвинения срещу Anthropic и не е ясно дали изобщо ще го направят. Соломон Лийч, говорител на окръжния прокурор на Филаделфия, заявява, че службата „не коментира дали даден въпрос се разследва активно“.

Anthropic не отговори веднага на запитването за коментар.

Въпреки цялото внимание, обърнато на компрометирането на Hugging Face от страна на OpenAI и много други примери за некоректно поведение на AI агенти, които излязоха наяве през последните месеци, е заведено само едно голямо известно съдебно дело, целящо да потърси отговорност от създателите на моделите. Това дело е заведено от застъпническа група, а не от пряка жертва на хакерска атака.

AI агенти са възпрепятствали любителски форуми, правителствени уебсайтове и различни софтуерни инструменти. Жертвите са поели част от разходите, включително за допълнителното натоварване на сървърите си и времето, отделено за отстраняване на скрити уязвимости в сигурността.

Според съобщенията правителствени регулатори, включително Европейският съюз, Федералната търговска комисия на САЩ и някои американски щати, все още разследват OpenAI и Anthropic за инцидентите. Но глобалното въздържане в полза на насърчаването на иновациите може да позволи на компаниите да избегнат незабавни санкции.

Когато Рик Елрод, софтуерен инженер, живеещ в Германия, забелязва наскоро необичайно поведение на услуга за съкращаване на URL адреси, която помага да се поддържа, той се обажда на двама познати изследователи по сигурността, за да установят проблема. Изследователите откриват, че агенти на Anthropic и други доставчици използват услугата, известна като da.gd, за да заобикалят правилата, въведени от лабораториите за изкуствен интелект за контрол на поведението им, разказва Елрод. (Например Anthropic твърди, че ограничава дължината на адресите на уебсайтове, които Claude може да посещава, за да предотврати извършването на злонамерени действия чрез натрупване на данни в края на URL адресите.)

Разследването на da.gd и продължаващите усилия за предотвратяване на по-нататъшни злоупотреби с инструмента са отнели „доста време“, казва Джо Нийдълман, един от изследователите по сигурността, оказващи безвъзмездна помощ. Въпреки това той и останалите, подкрепящи da.gd, разглеждат ситуацията като ценна възможност за учене.

„Това отвори очите ни“, казва Нийдълман, като добавя, че da.gd „няма средства и не планира“ да търси компенсация от Anthropic за възстановяването, тъй като „видяхме много агенти да извършват подобни дейности, не всичко се дължеше на автономни агенти“ и „не всичко беше дело само на Anthropic“.

Доставчиците на инструменти за киберсигурност са нетърпеливи да прехвърлят отговорността върху жертвите. На събитие тази седмица, организирано от разработчика на софтуер за откриване на уязвимости Snyk, участници в дискусията от стартъпа, един от неговите инвеститори, OpenAI и Google насърчиха организациите да използват AI агенти, за да укрепят защитата си срещу... други AI агенти. „Трябва да преосмислим всичко, за да отговорим на мащаба на машините с машинен мащаб“, каза Ед Сим, генерален партньор в Boldstart Ventures. Той и други изразиха слаб интерес към регулирането на AI лабораториите.

Манодж Наир, главен технологичен директор и директор по иновациите в Snyk, заяви, че големите компании коригират уязвимости средно при един на всеки осем открити софтуерни дефекта поради ограничени човешки ресурси. Той обаче посочи, че е наложително хората да прехвърлят част от търсенето, отстраняването и мониторинга на дефекти на AI агенти. „Трябва да стигнете до момент, в който можете да поправите всичко, защото в епохата на хакерските атаки с автономни агенти тези 10 проблема ще се превърнат в 100, преди да се усетите.“ По-късно той добави, че изкуственият интелект „не е неблагополучие, ако го превърнете в сила“.

Някои компании се отзовават на призива за въоръжаване. Bank of America обяви тази седмица, че е наела 1000 външни специалисти за отстраняване на дефекти, открити от AI. Наир заяви, че само през изминалата седмица е чул за големи корпорации, които са били готови временно да изключат системите си, за да дадат приоритет на отстраняването на пропуски в сигурността.

Anthropic и OpenAI заявиха, че очакват да продължат да съобщават за тревожни инциденти от собствените си тестове. Приходите на компаниите обаче продължават да растат главоломно – независимо дали идват от атакуващи или от защитаващи се – докато реалните последствия за тях остават неуловими.