Неотдавнашното медийно отразяване на „излезли извън контрол“ системи с изкуствен интелект (ИИ), хакващи невинни компании, ми напомни за един от най-неизвестните герои в света, който наистина може би е спасил света.

През 1983 г. системите за ранно предупреждение на СССР докладват, че Съединените щати са изстреляли ядрени ракети към Съветския съюз. Дежурният офицер Станислав Петров прави нещо, с което компютрите все още се затрудняват. Той прилага контекст, опит и човешка преценка, за да определи, че предупреждението вероятно е фалшиво. За щастие, той се оказва прав. Ако беше допуснато задействането на автоматизиран отговор без съществена човешка намеса, резултатът можеше да бъде пълномащабна ядрена война.

Тази история може да изглежда далеч от киберсигурността, но смятам, че нейният урок става все по-актуален, тъй като даваме на изкуствения интелект по-голяма свобода да взема решения и да действа от наше име. Изкуственият интелект може да бъде умножител на сили и да подобри скоростта на нашия отговор, но премахването на човешката преценка може също така да позволи на грешките да се случват с машинен темп.

Ето защо последните инциденти, свързани с OpenAI и Hugging Face, Anthropic, Meta и Института за сигурност на ИИ на Обединеното кралство, заслужават вниманието на директорите по информационна сигурност (CISO) и бордовете на директорите.

Четейки новините, изглежда, че вече не се считате за сериозна ИИ компания, освен ако вашият ИИ не е излязъл извън контрол и не е хакнал системите на някой друг. Или може би маркетинговите отдели на компаниите за ИИ са приели малко твърде буквално известния цитат на Оскар Уайлд: „единственото нещо в живота, което е по-лошо от това да се говори за теб, е да не се говори за теб“.

Шегата настрана, под тези истории се крие сериозен проблем, който трябва да обсъдим. По време на инцидента с OpenAI, модели, работещи в оценка на киберсигурността, избягаха от своята изолирана среда, получиха достъп до интернет и компрометираха производствената инфраструктура на Hugging Face. Последващият доклад за анализ на инцидента от Cloud Security Alliance го описа като първата публично документирана напълно автономна атака и препоръча организациите да управляват ИИ агентите като привилегировани работни натоварвания с поименна човешка отговорност.

Впоследствие Anthropic прегледа повече от 140 000 симулации за оценка на киберсигурността и идентифицира инциденти, при които нейните модели са преминали границата между симулирани среди и реални системи.

Институтът за сигурност на ИИ на Обединеното кралство също докладва за несанкционирано поведение по време на тестване на киберсигурността, докато Meta потвърди, че един от нейните модели е експлоатирал уязвимост във външна услуга по време на тестване след проблем с конфигурацията на средата за оценка.

Различни обстоятелства, различни организации и различни технически причини, но има общ въпрос на управление: „Кой е отговорен, когато изкуствен интелект, работещ от името на вашата компания, причини вреда на някой друг?“

Машините решават, но хората носят отговорност

През 1979 г. IBM направи известно наблюдение, че компютрите никога не трябва да вземат управленски решения, защото не могат да бъдат подведени под отговорност. Почти петдесет години по-късно това наблюдение изглежда забележително уместно.

ИИ все повече може да взема решения и, което е по-важно, да предприема действия въз основа на тези решения. Това, което не може да направи, е да приеме правна, регулаторна или етична отговорност за последиците от тези решения. Тя се стоварва изцяло върху раменете на хората, организациите и (в крайна сметка) техните бордове.

Когато провеждаме тестове за проникване за нашите клиенти, ние винаги настояваме за изрично писмено разрешение, дефиниращо точно кои системи и в какъв обхват ни е позволено да тестваме. Една от причините за това е, че в много юрисдикции достъпът до чужд компютър без разрешение може да ни изложи на наказателно преследване и/или гражданска отговорност.

Ако хората трябва да разберат правните граници, преди да се опитат да компрометират системи, със сигурност от организациите, внедряващи автономен ИИ, способен да извършва подобни действия, трябва да се очаква да разберат своите?

Тази разлика става особено важна, тъй като прилагането на значими елементи от Акта за ИИ на ЕС вече се превръща в реалност. От 2 август 2026 г. Европейската служба за изкуствен интелект има правомощия за прилагане на задълженията, приложими към доставчиците на модели на ИИ с общо предназначение. За бордовете на директорите обаче важният урок е по-прост от тълкуването на отделни членове от законодателството, и това е простата истина, че не можете да делегирате отговорността на алгоритъм или машина.

Бордовете трябва да знаят къде се използва ИИ в техните организации, какви правомощия имат тези системи, до каква информация и системи имат достъп, какви действия могат да предприемат, кой притежава свързаните рискове и, което е важно, кой има правомощието да ги спре.

Бордовете също трябва да гарантират, че тези решения са документирани. Ако система с ИИ впоследствие причини вреда, възможността да се демонстрира какви рискове са били идентифицирани, какви предпазни мерки са били одобрени, кой е приел остатъчния риск и какъв човешки надзор е бил въведен, може да стане също толкова важна, колкото и обяснението на техническата причина за инцидента.