Моделите на изкуствен интелект (ИИ), наборите от данни и автоматизираните системи, на които разчитат изследователите, могат да бъдат компрометирани по начини, които конвенционалните инструменти за киберсигурност не са проектирани да засичат. Нов проект, наречен VERITAS („Сертифицирана инфраструктура за достоверен ИИ в науката“), има за цел да запълни тази празнина, като утвърди осигуряването на надеждност на ИИ (AI Assurance) като основна функция на инфраструктурата за научни изследвания.

Ръководена от Анита Николич, научен изследовател и директор по научни изследвания и технологични иновации в Училището по информационни науки към Университета на Илинойс, инициативата получи тригодишна субсидия в размер на 896 000 долара от програмата „Иновации в киберсигурността за киберинфраструктура“ на Националната научна фондация на САЩ. Проектът обединява експерти по състезателен ИИ (adversarial AI), научна киберинфраструктура, наука за данните и развитие на работната сила, за да се справят със специфичните рискове за сигурността в науката, задвижвана от ИИ.

„Не можем просто да прикачим традиционната киберсигурност към науката, базирана на ИИ“, казва Николич. „Когато отровен набор от данни или модел със задна вратичка произведе отговор, който изглежда правдоподобен, но е едва доловимо грешен, нито една защитна стена или антивирусен скенер няма да го засече. Изследователите, които извършват най-важната ни научна дейност, заслужават увереност, че ИИ системите, на които разчитат, са документирани, тествани и се държат според очакванията.“

Николич обяснява, че VERITAS е създаден така, че да интегрира осигуряването на надеждност на ИИ в изследователската инфраструктура, която учените вече използват. По този начин не е необходимо учените да стават експерти по киберсигурност, нито екипите по киберсигурност да се превръщат в специалисти по машинно обучение.

VERITAS е структуриран около три свързани направления:

  • Документация: Проектът ще тества стандартизирани карти на моделите (model cards) и информационни листове за набори от данни (dataset datasheets) за големи научни изчислителни ресурси. Това са записи, които описват произхода на даден модел или набор от данни, как е бил създаден или променен, за какво е предназначен и какви са неговите ограничения, което позволява проследяването на проблеми в работния процес.
  • Нова оперативна роля: Инженер по осигуряване на надеждност на ИИ (AI Assurance Engineer), която ще бъде тествана пилотно в Националния център за приложения за суперкомпютри. Този специалист ще преглежда технически нови ИИ проекти, преди те да стартират реално, ще сканира файловете на моделите за небезопасно или злонамерено поведение, ще проверява софтуера за уязвимости и ще оценява степента на автономия на агентите.
  • Образование: Чрез образователния център на Националната платформа за данни VERITAS ще разработи практически предизвикателства, които да учат студентите как да откриват отровени данни, да инспектират подозрителни модели, да оценяват разрешенията на агентите и да намират слаби места в научните ИИ процеси.

Внедряване на симулации на атаки (red-teaming) в лабораторията

Симулацията на атаки срещу ИИ (AI red-teaming) – умишленото тестване на система с цел разкриване на нейните слаби места – е често срещана практика в технологичната индустрия. Тя обаче рядко се прилага към научната изследователска инфраструктура, където компрометираните ИИ модели или набори от данни могат да повлияят на изследванията без очевидни предупредителни знаци. VERITAS е сред първите проекти, които пренасят тези симулации в изследователските изчисления.

„ИИ системите могат да се провалят по начини, които трудно се различават от легитимните научни резултати“, отбелязва Николич. „Проактивното тестване ни позволява да идентифицираме тези слабости, преди уязвим модел или агент да бъде внедрен в изследователския процес. Целта е да помогнем на изследователските екипи да направят системите си по-достоверни и устойчиви.“

Освен техническата работа, проектът има и компонент, насочен към работната сила. Студентите, участващи в предизвикателствата, ще работят с научни модели, набори от данни и инфраструктура чрез Националната платформа за данни, като по този начин ще се запознаят и с практиките за отговорно разкриване на уязвимости.

„ИИ вече е част от научния работен процес. Трябва да защитим неговата цялост също толкова сериозно, колкото защитаваме мрежите и компютърните системи около него“, заключава Николич.

При успех VERITAS може да помогне за налагането на осигуряването на надеждност на ИИ като стандартен компонент от изследователската киберинфраструктура, предоставяйки на университетите и изследователските институции рамка за оценка на сигурността и доверието в ИИ системите, преди те да станат част от критични научни процеси.