Добре дошли в Kernel Panic!, седмичен бюлетин от Лили Хей Нюман и Мат Бърджис от вътрешността на новия свят на поверителността и дигиталната сигурност. За да получавате този бюлетин в входящата си поща всяка седмица, абонирайте се тук.

Дори когато изкуственият интелект увеличава възможностите за онлайн измами и киберпрестъпления, той също така бива използван в борбата за защита на потенциалните жертви. Правителствата по целия свят постоянно се борят да се справят с глобалната криза на онлайн престъпността, сблъсквайки се с ограниченията на опитите за противодействие на престъпници извън техните граници. Това вдъхнови алтернативни усилия, като използването на автоматизация за опити за масово преследване на измамниците — например чрез изпращане на спам към самите тях с цел пилеене на ресурсите им. Сега платформите за AI превръщат тези видове експерименти в реални инструменти в борбата срещу киберпрестъпността.

През последните две години австралийската компания Apate, кръстена на гръцката богиня на измамата, изгражда система, която пренасочва телефонните измамници към разговори с AI ботове, които са обучени да поддържат разговорите възможно най-дълго, без, разбира се, никога да се хващат на измамата. Целта е да се даде на измамниците достатъчно надежда, че да останат на линия, като същевременно се събира разузнавателна информация за провежданите от тях измами.

„Това, което наистина обичаме да мислим, е, че изграждаме перфектните жертви за измамниците“, казва ни Дали Каафар, основател и главен изпълнителен директор на Apate. „Минута, в която измамникът говори с бот или агент, е минута, в която вероятно спасявате стотици, ако не и хиляди потенциални хора да бъдат потърсени от абсолютно същия този измамник“, казва той, визирайки способността на измамниците да използват автоматизирани инструменти за набиране.

Каафар казва, че платформата на Apate, която се използва от банки и се поддържа от телекомуникационни компании, разполага с около 350 000 бота. Те не само вдигат телефонни обаждания, но и се инфилтрират в чат групи за измами онлайн и отговарят на текстови съобщения с подобни цели — да фрустрират измамниците, докато събират разузнавателна информация от тях. Той казва, че компанията е събрала над 250 000 фрагмента информация за измамници в реално време, от зловредни URL адреси до сметки на финансови мулета и банкови детайли.

Ботовете имат различни личности, езикови умения и профили, казва Каафар, така че измамниците да не засекат, че разговарят с AI. Както истинските хора, „понякога [ботовете] имат WhatsApp, понякога нямат. Понякога вдигат телефона, понякога просто затворят на измамника, казвайки: „Ще ви се обадя по-късно““, казва той.

Но дали са убедителни? Kernel Panic тества инструмента, използвайки демо версия, в която потребителите влизат в ролята на измамник и разговарят с една от AI „жертвите“ на Apate. Персоните са проектирани да изразяват здравословно количество скептицизъм, но да оставят достатъчно вратички за измамниците да продължат да се опитват да ги спечелят — динамика, която веднага можахме да усетим и намерихме за изключително фрустрираща.

Измамниците вероятно са запознати с този тип скептично взаимодействие и Каафар казва, че обажданията към Apate редовно продължават повече от два часа. При нашите тестове системата на Apate беше ангажирана и отзивчива, а темпото на разговора изглеждаше естествено, дори когато двамата от нас атакувахме AI в екип като приятелката „Люси“ и нейния финансов съветник „Мики“. Не успяхме да накараме системата на Apate да инвестира в нашата възможност за криптовалута дори след шест минути усърдни опити. (Доходността наистина е невероятна, заклеваме се.)

Засега, дори с масивния рояк от ботове на Apate по случая, е само въпрос на време да получите следващото си измамно обаждане или съобщение. Киберпрестъпниците инициират милиарди съобщения и обаждания всяка година, като най-сложните операции управляват физически центрове за измами в индустриален мащаб. И докато професионалните ловци на измамници (scambaiters) и инициативите за инфилтриране в операции за измами са вършили критична възпираща работа с години, правоприлагащите органи и изследователските усилия не са успели да спрат разрастването на дигиталните измами като цяло.

Но изкуственият интелект би могъл да създаде нова ера за усилията срещу измамите, а не само за самите измамници. По-добрият обмен на разузнавателна информация между полицията, компаниите за социални мрежи, банките и други индустрии е отчаяно необходим и потенциално би могъл да бъде подпомогнат от AI-базиран мониторинг и анализ на данни. Все повече иновативни усилия търсят начини да нарушат работата на киберпрестъпниците, като се възползват от техните „психологически уязвимости“. В някои случаи тези психологически операции включват директно тролене на хората зад атаките с рансъмуеър. Тъй като фокусът върху възпрепятстването на измамниците и киберпрестъпниците се разширява, използването на генеративен AI като начин за задържането им ангажирани, губещи ресурси и неуспеващи да стартират други атаки, изглежда все по-ефективно.

Вземете например капаните за хакери (honeypots). С години компаниите и изследователите по сигурност са внедрявали фалшиви виртуални машини, за да привличат хакери, да губят времето им, да събират информация и да разбират техните тайни техники за хакване. Марк Веро, докторант в катедрата по компютърни науки в ETH Zurich, казва, че доставчиците на капани за хакери с отворен код все повече интегрират големи езикови модели (LLM) в своите системи, за да ги направят да изглеждат по-реалистични.

В скорошно изследване Веро и колегите му установиха, че базиран на LLM капан поддържа агентите с AI, атакуващи тяхната система, „значително по-дълго“, отколкото капан с по- предвидимо поведение. „Агентните атакуващи са много по-убедени от капаните, симулирани с LLM, и ги маркират като действителни капани със значително по-нисък процент“, казва той. „Ако тези системи са изградени достатъчно добре, мисля, че е доста изгодно за защитниците.“