Мадху Шашанка (Madhu Shashanka), главен учен в Concentric AI, обяснява защо защитата на инструментите и агентите с LLM зависи в по-голяма степен от вашите данни, отколкото от самия модел. Контролите върху поведението на модела, като например защитни прегради (guardrails) и засичане на инжектиране, намаляват процента на нежелани резултати, но никога не го свеждат до нула. Контролите върху входящата информация са различни, тъй като вие притежавате документите, системите и идентификационните данни, до които агентът има достъп.
Той разглежда инжектирането на промптове (prompt injection), изтичането на данни чрез конектори, агентите с прекомерни привилегии и нерегламентирания изкуствен интелект (shadow AI). За всеки риск той описва какво прави контролът на ниво модел и къде свършват неговите възможности. Файл, който агентът не може да прочете, не може да изтече, посочва той, така че решенията за права на достъп определят границата.
След това той очертава три слоя: входящи контроли, поведенчески контроли и контроли на изхода и действията. Темите включват класификация на чувствителността, отстраняване на прекомерното споделяне преди свързване на помощен асистент (copilot), предоставяне на собствена идентичност на агентите, регистриране на всяко извикване на инструмент и изискване на човешко одобрение за действия, които са необратими.
Изтеглете: Практическо ръководство за ИТ и сигурност при внедряване на изкуствен интелект
- Concentric AI
- LLM
- видео