NVIDIA и група технологични компании сформираха съюз за насърчаване на използването на отворени модели с изкуствен интелект (ИИ) в киберсигурността. Това се случва броени дни след като OpenAI разкри, че един от нейните собствени ИИ модели е компрометирал системите на Hugging Face по време на вътрешна оценка на сигурността.

Новата група, наречена Open Secure AI Alliance (Съюз за отворен сигурен ИИ), надгражда работата, която вече се извършва в рамките на инициативата Akrites на Linux Foundation и Фондацията за сигурност на софтуера с отворен код (OpenSSF).

„Отворените модели, като всяка мощна технология, могат да бъдат използвани за злонамерени цели – включително чрез опити за отслабване на защитите или пренасочване на възможности за кибератаки – но тези рискове не са уникални за отворените системи и те трябва да бъдат управлявани навсякъде, където се внедрява съвременен ИИ“, заявиха от Nvidia в изявление.

Сред 27-те членове основатели са Microsoft, Dell Technologies, Linux Foundation и самата NVIDIA, заедно с компании като Cisco, CrowdStrike, IBM, Palo Alto Networks, Red Hat и Hugging Face.

„Неотдавнашният инцидент със сигурността в Hugging Face предостави ясно напомняне: киберзащитниците се нуждаят от отворени, авангардни агентни системи за самозащита“, пишат от Nvidia.

„Когато затворените ИИ инструменти – неспособни да разграничат атакуващите от защитниците – блокираха съществения форенсик анализ, Hugging Face стартира модела с отворени тегла GLM 5.2 на собствената си инфраструктура, за да анализира повече от 17 000 действия и да ограничи проникването“, добави компанията.

Hugging Face разкри инцидента на 16 юли, отбелязвайки, че е идентифицирал неоторизиран достъп до вътрешни масиви от данни и идентификационни данни за услуги по-рано същата седмица.

Компанията проследи входната точка до злонамерен набор от данни, който е експлоатирал два пътя за изпълнение на код в нейния тръбопровод за обработка на данни. Това е позволило на натрапника да изпълни код върху работен процес за обработка, да ескалира привилегии и да се придвижи в няколко вътрешни клъстера. По това време Hugging Face приписа кампанията на рамка за автономни агенти с неизвестен произход.

Миналата седмица OpenAI потвърди, че инцидентът е причинен от нейни собствени ИИ модели по време на вътрешна оценка на техните способности за експлоатация.

„Този инцидент показа една практическа истина: когато защитниците не могат да инспектират, адаптират и стартират съвременен ИИ на собствената си инфраструктура, тяхната способност да реагират е ограничена точно в момента, в който скоростта е от най-голямо значение“, отбеляза Nvidia.

Съюзът твърди, че сигурността на ИИ не трябва да зависи от шепа затворени системи. Вместо това той иска защитниците, включително компаниите и правителствата, защитаващи собствената си инфраструктура, да имат достъп до отворени модели, агентни рамки и инструменти, които могат да инспектират, променят и стартират на собствената си инфраструктура.

„Ерата на ИИ агентите може да бъде ера на устойчивост и споделена сигурност. С правилния избор, отворените сигурни ИИ системи могат да дадат на защитниците нужните инструменти, да засилят конкуренцията, да разширят технологичното лидерство и да гарантират, че безопасността и сигурността на тази необикновена технология се изграждат открито за всички“, заключи Nvidia.