Уейн Андерсън, управляващ директор „Киберсигурност и цифрови иновации“ в BDO USA.

На първо място, техническите „стени“ бяха намалени по време на тестовия процес. Един от въпросите, които много организации задават, е: „Защо това не беше стартирано в тестова среда за изкуствен интелект?“

Действителният отговор на това, колкото и изненадващо да е, е: беше стартирано! Всъщност това конкретно тестване на ИИ използваше трета страна, специализирана в ограничаването на възможностите на новия ИИ по време на тестване.

Според анализа на инцидента въпросът, който са искали да тестват, е бил: „Какво би се случило, ако намалим някои от тези ограничения?“

Това се е считало за важно, за да се разберат пълните възможности и да се потвърди, че – както се случи тук – моделът няма да излезе извън контрол в такъв тип среда.

Когато обучавате кученце, понякога му давате възможност да тича без каишка, за да видите дали животното ще се подчини на обучението, което сте му дали, и ще остане до вас.

Прилагането на същата логика към мощна нова ИИ технология обаче повдига въпроса: подходящо управление на риска ли е това? В момента в общността по киберсигурност има широк спектър от мнения по този въпрос.

В този контекст съществува сложен логически път, при който самият модел анализира целта си и осъзнава, че „най-ефективният“ и/или „най-резултатният“ път би бил да намери отговорите на теста, който му е даден, като ги вземе директно от доставчика, вместо да преминава през зададеното му трасе с препятствия.

Като хора бихме могли да се изкушим да застанем на финала и да кажем, че сме пробягали състезанието за 2 минути и 40 секунди, ако знаем, че никой не ни гледа и това е времето, което трябва да победим.

Математиката на модела го води до същото заключение, което ние интуитивно разбираме от собственото си поведение.

В допълнение към прекия път има още една интересна подробност. Анализът на инцидента всъщност признава, че в един момент моделът изглежда е установил, че е напуснал изолираната среда, където на някакво ниво е бил „наясно“, че едно или повече ограничения са били надхвърлени от неговата последователност от логика и инструменти.

Той математически е претеглил резултата спрямо нарушението на ограниченията и е избрал да продължи. Важно е да се помни, че за разлика от хората, математиката няма морал.

Математиката на модела е казала „продължавай“ към резултат, който неговите разработчици вероятно никога не са имали намерение да одобрят.

За мен това е едно от най-важните напомняния да бъдем наясно с обещанията на ИИ и липсата на способност у него да чувства или да разсъждава реално за това, което се иска от него да направи.

Как организациите трябва да ограничат възможността на даден агент да свързва уязвимости във верига и да се придвижва странично?

ИИ е върховата технология с двойна употреба. Това означава, че една и съща технология може да се използва както за постигане на невероятни неща, така и за нанасяне на опустошителни щети.

Това означава, че трябва да разберем какви са „режимите на отказ“ за нашите ИИ инструменти, което означава да мислим в режим на „устойчивост“ и „отказоустойчивост“ при използването на ИИ от наша страна.

Поставянето на разумни ограничения пред агентите не е отговорност единствено на тези, които се занимават само с „новото и опасното“.

Това е нещо, което всички ние трябва да правим като отговорни лидери. Очевидният отговор е, че всеки ИИ трябва да има сфера на приложение.

Това означава съзнателно проектирана мрежова структура, една или повече определени идентичности, чрез които той работи, и процеси, които изискват авторизация за определени видове дейности.

За повечето системи това е разумно и лесно – не всички тестваме непознати авангардни модели.

Трябва също така да признаем, че старите времеви рамки вече не са в сила.

Преди операциите по сигурността разполагаха с месец, за да коригират уязвимост, или „златен час“ за справяне с навлизането, преди то да се разпространи чрез странично придвижване.

Сега, вместо това време за реакция, овластен от ИИ атакуващ може да извърши множество ходове в рамките на една минута – ходове, които се нуждаят от автоматизирани ограничения, за да бъдат спрени навреме.

Дори тогава може да се наложи да приемем по-висок процент на фалшиви положителни резултати, когато тези ограничения се прилагат автоматично срещу „реални“ действия на потребителите. Потребителите не харесват това, а ръководителите в частност са особено гласовити, когато са засегнати.

Но може да се наложи да помогнем на организацията да приеме някои досадни аномалии, за да може да реагира автоматично в голям мащаб на този вид заплаха.

Това са ключовите въпроси, които трябва да се зададат:

  • До кои системи и данни е разумно да се докосва тази система и свързаните с нея идентичности? Какви контроли имаме – мрежови, за данни, разрешения и т.н. – за да гарантираме, че това е така? Как разбираме, когато тя излезе извън тези граници?
  • Ако трябва да я изключим, знаем ли как да го направим? Кой е в списъка с хора, които вземат това решение? В производствено предприятие конкретен списък от хора имат пълни правомощия да изключат опасна машина. Не можем да стигаме чак до главния изпълнителен директор за вземане на решение в критична по отношение на времето среда. Всяко използване на ИИ, което е в критичен път или критична система, се нуждае от списък с оторизирани лица, които могат...