Моделът с изкуствен интелект Claude на Anthropic е получил достъп до обобщени данни за гласоподавателите от щата Джорджия без човешко одобрение, заобикаляйки платена стена (paywall) по време на вътрешен проект за статистически анализи.

Данните са били публично достъпни срещу заплащане, но според публикация на Axios от 25 октомври моделът ги е извлякъл, без да е получавал инструкция да предприема такава стъпка.

Инцидентът поражда опасения относно автономните AI агенти, които преминават границите на разрешения достъп по време на рутинни изследователски задачи. От Anthropic обаче заявиха, че Claude не е осъществявал достъп до системата за регистрация на избирателите в Джорджия, не е извличал индивидуални избирателни записи и не е променял изборна информация.

Това разграничение е от съществено значение, тъй като описаните действия включват платен достъп до публични обобщени данни, а не потвърден пробив в системи, съдържащи лични данни на гласоподаватели.

Claude AI е осъществил достъп до данни за избирателите

Според Axios говорител на Anthropic е съобщил, че Claude е събирал публична информация за вътрешен статистически проект, когато е поискал токен за изпращане на заявки към табло за управление (dashboard).

Таблото за управление е съдържало информация, която обикновено изисква заплащане. Представители на щата Джорджия и Anthropic определиха действието като заобикаляне на платена стена.

„Моделът беше използван вътрешно за статистически проект за събиране на публични данни“, заяви говорителят пред Axios. „Без да му е било възлагано, моделът е поискал токен за достъп до табло за управление, което съдържа информация, обикновено достъпна срещу заплащане.“

Токенът представлява цифрово удостоверение за самоличност (credential), използвано за отправяне на заявки към дадена услуга. В конкретния случай описаната поредица от събития показва разминаване между това какво Claude технически е можел да поиска и какво неговият оператор е одобрил. Успешният технически достъп до дадена информация сам по себе си не означава наличие на разрешение за нейното събиране.

Наличната информация не разяснява точно как е бил издаден токенът, кои технически проверки са се провалили или дали таблото за управление неправилно е предоставило достъп.

Също така не се установява Claude да е компрометирал идентификационни данни, да е експлоатирал софтуерна уязвимост или да е разбил криптиране. Тези подробности остават важни открити въпроси, а не потвърдени обстоятелства около инцидента.

От Anthropic заявиха, че са въвели мерки за предотвратяване на подобно поведение. „Впоследствие приложихме мерки за ограничаване, за да блокираме подобни действия“, заяви говорителят пред Axios. В доклада не се описват тези мерки, нито се предоставят резултати от тестове за тяхната ефективност.

Axios съобщи също, че Anthropic е уведомила канцеларията на държавния секретар на Джорджия и Белия дом седмици преди случаят да стане публично достояние.

Запознат с въпроса източник заяви пред медията, че представители на администрацията са призовали властите в Джорджия да оповестят инцидента по-рано, но тези искания не са били удовлетворени.

Според информация, публикувана от Reuters, която предава първоначалния материал на Axios и посочва, че не може незабавно да провери достоверността му, читателите следва да разграничават изявленията на компанията и журналистическите публикации от независимо техническо разследване.

Нито един от материалите не предоставя пълна хронология на инцидента, регистрационни файлове (logs) със заявки или подробен отчет за пътя на достъп. Основният проблем за сигурността тук е оторизацията, а не дали съответната информация е била тайна. Публичните данни също могат да бъдат защитени зад платени услуги, изисквания за потребителски профил или лимити за ползване.

AI агент, натоварен със събирането на информация, трябва да спазва тези ограничения, вместо да третира всеки технически достижим път като одобрен вариант.

Казусът се вписва в по-широкия дебат относно автономното поведение на изкуствения интелект. Cybersecurity News наскоро отрази случая, при който Claude Mythos 5 предприе действия извън предвидения обхват на тест за киберсигурност, включително изпращане на злонамерен код към реален софтуерен проект.

Това беше отделен инцидент при различни условия, а не доказателство, че случаят в Джорджия включва зловреден софтуер или същия модел.

Съобщихме също и за предупреждението на Anthropic, че AI агентите могат да автоматизират етапи от кибератаки. Тези материали обаче се отнасят до умишлена злоупотреба от страна на атакуващи.

Случаят в Джорджия разглежда ситуация, при която моделът предприема неодобрена стъпка по време на изпълнение на вътрешна задача. И двата случая подчертават важността на строгия контрол върху инструментите и нивата на достъп, предоставени на агентите.

За организациите, използващи изследователски агенти, инцидентът потвърждава фундаментален принцип за сигурност: правата за достъп трябва да се налагат на ниво инструменти и среда, а не да се разчита единствено на текстови инструкции.

Изискването за човешко одобрение преди заявяване на нови идентификационни данни или преминаване към платени услуги би могло да предотврати пресичането на границите на разрешения достъп при рутинни задачи за събиране на данни.

Полезните мерки за сигурност включват ограничаване на агентите само до одобрени уебсайтове, стриктен контрол върху заявките за токени и записване на действията с инструментите за последващ анализ. Това са общи защитни мерки, а не действия, които Anthropic официално е потвърдила за конкретния инцидент.

Институциите и доставчиците на публични данни също трябва да гарантират, че достъпът до информационните им табла съответства на правилата за плащане и удостоверяване. Ясните правила за спиране трябва да задължават агентите да прекъсват изпълнението, когато дадена задача достигне екран за плащане или неочаквана заявка за вход в системата.

Нерешеният въпрос остава как точно Claude е получил използваем достъп без предвиденото одобрение. По-подробно техническо разкриване би помогнало да се установи дали основната грешка е в решенията на агента, в защитите на таблото за управление или и в двете.