Anthropic очерта защитните механизми за сигурност и поверителност зад Claude Duet — своя проактивен AI агент, който може да наблюдава свързани профили и да изпълнява задачи, докато потребителите отсъстват. Защитните мерки включват изисквания за одобрение, проверки за чувствителна информация и инфраструктура, която държи идентификационните данни извън обсега на модела.
Потребителски одобрения и ограничения на действията
Според Anthropic Duet изисква от потребителите да одобряват действия като изпращане на потенциално чувствителни съобщения, извършване на плащания или изтриване на информация. Заявката показва предложеното действие, дестинацията и съдържанието, включително получателите.
Отделна автоматизирана проверка оценява дали всяко действие съответства на намеренията на потребителя. От Anthropic посочват, че тази проверка работи извън модела, изпълняващ задачата, за да го защити от инструкции, скрити в уеб страници.
Поток на одобрение: картата за одобрение и отделната проверка се намират извън модела, така че нищо от прочетеното от агента не може да отговори на картата. (Източник: Anthropic)
Достъпът до чужд профил, търговията с ценни книжа и прехвърлянето на средства между банкови сметки остават забранени дори при наличие на одобрение. Определени действия, включително плащания и създаване на профили, изискват одобрение всеки път. Фоновите рутинни операции следват същите правила.
„Умората от одобрения е сериозен проблем, тъй като твърде многото заявки приучават хората да преминават през тях с кликване, понякога без необходимото обмисляне. Ще продължим да коригираме това калибриране с течение на времето“, заявяват от компанията.
Споделяне на информация и съхранение на данни
Anthropic използва отделен класификатор, предназначен да открива чувствителна информация в изходящите съобщения. Проверките обхващат и качванията през браузъра.
Duet е инструктиран никога да не споделя идентификационни данни, пълни номера на платежни карти и банкови сметки или национални идентификационни номера, дори когато това бъде поискано. Друга лична информация, включително здравни и финансови данни, изисква изрично съгласие. Инструкция от потребителя за изпращане на такава информация може да се счита за съгласие.
Когато дадено съобщение бъде блокирано, Duet може да премахне чувствителното съдържание и да подаде коригирана версия за одобрение. Anthropic признава, че по време на предварителния изследователски преглед проверките могат да пропуснат чувствителна информация или да маркират безобидни съобщения.
Потребителите могат да преглеждат напредъка на Duet чрез списък със задачи и да дават указания, докато работата тече. Приложенията, свързани с Claude, се прехвърлят и към Duet. Прекъсването на връзката с дадено приложение спира новия достъп и в двете услуги.
Duet използва историята на разговорите и паметта, за да пренася контекст между отделните задачи, докато потребителите не изтрият историята или не нулират паметта. Прекъсването на връзката с приложение не изтрива информацията, която вече е запазена в паметта. Изтриването на профила премахва цялата съхранена информация.
Защита на идентификационните данни и сигурност на браузъра
Anthropic заявява, че Duet няма достъп до паролите на потребителите, бисквитките на браузъра или токените за вход.
Потребителите въвеждат пароли чрез формуляр вътре в приложението Claude. Формулярът криптира паролата и я изпраща директно към облачния браузър, който я въвежда в уебсайта. Планираната поддръжка за 1Password ще позволи на потребителите да одобряват заявки за идентификационни данни, без да предават данните за вход през модела.
За свързаните приложения отделна услуга добавя токени за вход при подаване на заявки, като запазва тези идентификационни данни извън работното пространство на агента.
Компанията предупреждава, че атакуващи могат да имитират формуляри за въвеждане на парола. Легитимните заявки се появяват само при влизане, инициирано от потребителя, вътре в приложението Claude или на claude.ai. Заявки за пароли, твърдящи, че идват от Duet чрез имейл, текстови съобщения или уебсайтове, различни от claude.ai, са измамнически, заявяват от компанията.
Браузърът на Duet работи в специализирана виртуална машина в облака. Агентът го управлява чрез команди за отваряне на страници, кликване и въвеждане на текст. Кодът на уебсайтовете се изпълнява в рамките на средата на браузъра, а агентът не може да чете бисквитките на браузъра.
Текстът на страниците и изтегленото съдържание могат да достигнат до агента. Anthropic използва защити срещу prompt injection, за да се справи със злонамерени инструкции, вградени в тези материали.
Оценки на сигурността и докладване на грешки
Anthropic посочва, че нейните оценки тестват рутинни задачи, задачи, съдържащи инжектирани инструкции, и сценарии, които насърчават агента да надхвърли предоставените му правомощия.
Вътрешни червени екипи (red teams) са тествали дали Duet може да изтече информация, да действа без одобрение или да изпълнява злонамерени заявки (prompts). Външна компания за тестове за проникване е изследвала услугата с пълен достъп до изходния й код. В ход е и по-нататъшно тестване на облачния браузър и формуляра за вход.
Duet е включен и в публичната програма за награди при открити уязвимости (bug bounty) на компанията, която приема доклади за уязвимости чрез HackerOne.
- agentic AI
- Anthropic
- Claude Code
- credentials
- cybersecurity