В това интервю за Help Net Security, Едуин Вайдема, Field CTO във Veeam, отговаря на въпроси относно член 50 от Акта на ЕС за изкуствения интелект (Акта за ИИ) и какво може да донесе първата година от неговото прилагане.

Той обяснява защо коригиращите разпореждания вероятно ще превъзхождат по брой големите глоби, кога ИИ агент, работещ със система за обработка на заявки (тикети), се счита за взаимодействащ с човек, и как екипите по сигурност трябва да се справят със симулиран фишинг, използващ клонирани гласове. Той също така обсъжда откъде може да започне първото дело по прилагане на регламента и въпроса за отговорността, който клиентите продължават да задават, но все още няма добър отговор.

Както вече видяхме с други регламенти на ЕС като NIS2 и GDPR, реалното прилагане, включително глобите, ще бъде задължение на отделните страни членки, като процедурите ще варират в зависимост от държавата. Поради това е трудно да се прецени точно какви експозиции и санкции ще видим през първата година.

Въпреки това, първата година от новите санкции по регламента често може да се разглежда като период на „напасване“. Повече от вероятно е коригиращите разпореждания значително да превъзхождат по брой големите финансови санкции през тази първа година. Особено за тези организации, които полагат реални усилия за спазване на правилата. Регулаторите вероятно ще разглеждат пропорционалността, мащаба на въздействието, дали нарушението е умишлено или по непредпазливост, колко бързо е сътрудничила организацията и дали основните контроли за управление вече са били налице при вземането на тези решения.

Въпреки това често виждаме една или две големи и показни глоби, за да покажат регулаторите, че мислят сериозно, но ако това се случи, не бих очаквал да бъде през първата година. Всъщност през първата година по-голямата практическа експозиция може да бъде по-скоро оперативна, отколкото финансова. За една организация изискването за бързо спиране, преетикетиране, промяна или изтегляне на процес, базиран на ИИ, може да бъде много по-разрушително от получаването на глоба.

През първата година по-големият риск вероятно няма да бъде глобата; това ще бъде нареждането да спрете да използвате системата, докато не докажете, че тя отговаря на изискванията.

За Акта за ИИ каналът за комуникация не е решаващ. Система за обработка на заявки, споделена входяща кутия или портал за обществени поръчки не означава автоматично директно взаимодействие с човек, но може да означава. Ключовият въпрос е дали самата ИИ система комуникира с физическо лице, или има човешки посредник, който извършва съществен преглед и контрол.

Съгласно самия Акт, задължението за прозрачност се прилага в ситуациите, в които дадено лице взаимодейства с ИИ система и трябва да бъде информирано, че си има работа с ИИ, освен ако това не е очевидно от обстоятелствата. Така че, ако ИИ изготвя отговор, а човек го преглежда и изпраща, това е много по-различен профил на риска в сравнение с ИИ агент, който автономно отговаря на клиент, доставчик или служител. Вторият случай започва да изглежда като директно взаимодействие, дори ако се случва чрез система за заявки или портал за поръчки, а не през прозорец на чатбот.

Следователно компаниите трябва да направят съзнателен избор за разделяне на агентите, които са вътрешни, от тези, които са насочени към клиентите, чрез поставяне на подходящи бариери за агентите в зависимост от техните роли. И същите тези контроли за достъп и поверителност трябва да присъстват в цялата организация, а не само за агентите. Само тогава можете да избегнете нежелан достъп – едно е да кажете на агент „не влизай в тази стая“, но също така трябва да сложите ключалка на вратата.

В крайна сметка за Акта за ИИ няма значение дали взаимодействието се случва в прозорец на чатбот или в система за заявки. За него е важно дали човекът на практика си взаимодейства с машина.

Упражнения като тези не са автоматично освободени от изискванията за прозрачност на Акта за ИИ и организациите не трябва просто да приемат, че са. Разбираемо е нежеланието да се маркират генерираните от ИИ фишинг имейли или клонирани гласове – упражнението губи смисъл, ако има голям флаг, който на практика съобщава, че е тест.

Но клонирането на гласа на мениджър е особено чувствително. Ако се използва ИИ, за да се накара реален човек да изглежда, че казва нещо, което не е казал, това бързо може да се превърне в сценарий за дийпфейк (дълбока фалшификация). Целта за сигурност не създава автоматично изключение и аргументът „упражнението работи по-добре без разкриване“ сам по себе си не е оправдание за съответствие.

Така че, ако организациите решат да не маркират тези генерирани от ИИ елементи в тези упражнения, те трябва да могат да демонстрират, че правното основание и рискът от това решение са били внимателно оценени. За в бъдеще, като най-добра практика около тези упражнения, бих предложил екипите по сигурност да ангажират своите правни отдели и отделите по съответствие на ранен етап, за да документират своите мотиви като минимум. Бих включил също така становища относно поверителността, ЧР и, където е уместно, съвет на служителите или представител на служителите, особено ако при упражнението се използва гласът, изображението или подобието на реален човек.

Но в повечето случаи бих посъветвал екипите да обмислят алтернативи, като например измислени персонажи, синтетични гласове, които не имитират реални служители, предварително общо известие...