Преди няколко дни седях с CISO на компания от Fortune 50, обсъждайки как неговият екип по сигурност мисли за AI агентите в SOC (Център за операции по сигурността). Умен екип. Сериозна програма. Те вече бяха свързали Claude с няколко инструмента за откриване и виждаха реална полза при конкретни разследвания. Но докато чертаехме по-широката архитектура, нещо не ми даваше мира. Дизайнът, който изграждаха, щеше да работи прекрасно за малък процент от сигналите, които наистина се нуждаят от задълбочена човешка преценка. Но напълно щеше да игнорира останалите.

На полета към вкъщи взех книга, която не бях докосвал от няколко години: „Мисленето, бързо и бавно“ на Даниел Канеман. Канеман е един от редките хора, които наистина промениха начина, по който разбираме вземането на решения от хората. Прекарал е кариерата си като психолог, изучавайки как хората действително мислят, за разлика от това, което икономистите предполагаха, че правят. През 2002 г. той печели Нобелова награда за икономика, което говори достатъчно за това доколко работата му е надхвърлила първоначалната си област.

Основният аргумент в книгата е, че човешкият ум не е еднородно нещо. Той се състои от две системи, работещи паралелно, често в напрежение помежду си.Система 1 е мозъкът, който работи автоматично. Той разпознава модели моментално, разчита ситуацията в стаята за секунди и ви държи живи без съзнателно усилие. Той е бърз, асоциативен и несъзнателен. Според изследванията на Канеман, 95% от цялото човешко мислене се случва тук, работейки тихо на заден план като операционна система, която никога не виждате.

Система 2 е мозъкът, който включвате за трудни неща. Оценяване на договор, разрешаване на проблем без очевиден отговор и вземане на решение под натиск. Той е бавен, логичен, изисква усилия и представлява останалите 5% от нашето мислене. Той може да отхвърли Система 1, когато тя греши. Но има ограничен капацитет. Не можете да го стартирате на пълна мощност през целия ден. Когато се изтощи, Система 1 поема контрола независимо от всичко.

Основното прозрение на Канеман не е, че едната система е по-добра. А че грешките, които хората правят, почти винаги са резултат от прилагането на грешната система за грешната задача. Нарочното (бавно) мислене, приложено към неща, които трябва да бъдат автоматични, изтощава хората и пак пропуска детайли. Автоматичното мислене, приложено към неща, които наистина изискват размисъл, води до уверени грешки.

Приземих се, отворих лаптопа си и си написах едно изречение: „Това е точно това, което не е наред с начина, по който повечето екипи по сигурност проектират своята AI архитектура в момента.“

Числата не са съвпадение

Канеман казва, че хората използват Система 1 за 95% от мисленето си и Система 2 за 5%. Изследване, базирано на анализ на повече от 25 милиона корпоративни сигнала за тревога (alerts), установи, че 98% от тях могат да бъдат разрешени автономно, като по-малко от 2% действително изискват човешки преглед.

Това е почти идентично с пропорцията на Канеман. Добре работещият SOC не е някакво ново изобретение. Това е архитектура, която отразява начина, по който всъщност работят най-добрите умове за вземане на решения. Бърза, автоматична обработка за огромното мнозинство от входящите данни и целенасочена човешка преценка, запазена за малката част, която наистина се нуждае от нея.

Директорът по информационна сигурност (CISO), с когото седях, изграждаше SOC с един мозък. Неговият екип искаше от Система 2 да върши работата на Система 1, а след това искаше отново от Система 2 да върши това, в което всъщност е добра, с каквато енергия е останала. Нищо чудно, че покриваха само малка част от сигналите си. Нищо чудно, че анализаторите бяха изтощени. Нищо чудно, че реалните заплахи, криещи се в купчината с ниска степен на сериозност, никога не биваха открити. Според изследвания на над 25 милиона сигнала, предприятие с 450 хиляди сигнала годишно може да очаква 54 реални заплахи да бъдат скрити точно в тези сигнали — тези, които изглеждат като шум, тези, които никога не стигат до предната част на опашката за преглед.

Бързият мозък на SOC за 98% от сигналите

По-голямата част от сортирането на сигнали в SOC е проблем за Система 1. Известно ли е, че този файл е зловреден? Съвпада ли това влизане с историческото поведение? Появявал ли се е някога този IP адрес в случай, който вече сме затворили? Това не са въпроси, които се нуждаят от продължително обмисляне. Те се нуждаят от отговори с машинен темп, за всеки сигнал, денонощно.

Когато човешките анализатори са принудени да вършат тази работа, се случва същото, което става, когато карате хората да изпълняват задачи на Система 2 по цял ден. Те се забавят, опростяват нещата и в крайна сметка започват да пропускат. Те сортират само това, което изглежда спешно. Тези 54 заплахи, скрити в купчината с ниска степен на сериозност, остават скрити не защото някой е решил да ги игнорира, а защото зад тях има още 4000 сигнала и когнитивният капацитет на екипа е изчерпан.

Автономният мозък на SOC трябва да работи по начина, по който работи Система 1. Непрекъснато, без подканване, под прага на човешкото внимание. Той прилага дълбоко разследване от съдебномедицински клас (forensic-grade) към 100% от сигналите: сканиране на паметта, анализ на файлове, корелация между различни сигнали от крайни устройства, идентичност, мрежа и облак. Той затваря случаите, които очевидно са просто шум, и извежда на преден план тези, които наистина се нуждаят от човек, с вече събрани всички доказателства. Той не иска разрешение.