Най-новите инструменти за търсене на Flock Safety дават на полицията множество начини да открива хора на видеозаписи, а не само регистрационните табели на техните автомобили. Тези функционалности са част от софтуерен пакет, който в момента е в центъра на десетки случаи на полицейско следене. WIRED събра и анализира този софтуер и създаде модел на това, което служителите виждат при работа със системата.

Сред инструментите е списък за наблюдение, задвижван от изкуствен интелект. Даден полицай може да огради район от даден град и да накара камерите в него да извършват непрекъснато, автоматизирано търсене на всеки, който отговаря на писмено описание.

През изминалата година Flock се сблъска с обществена реакция срещу своята технология. Полицейски управления в цялата страна прекратиха договотите си, а градски съвети, които преди това бяха одобрили Flock, тихо гласуваха за премахването на камерите. Двама членове на Конгреса писаха на главния изпълнителен директор Гарет Лангли, след като заместник-шериф от Тексас търси в повече от 83 000 камери жена, извършила аборт. А Илинойс установи, че компанията е позволила на федералните имиграционни агенти да достъпват данни от камерите на щата в нарушение на щатското законодателство.

Flock отговори през август с пакет от промени, който скъсява периода по подразбиране, за който се съхраняват данните, изисква кодове за всеки случай при търсене и добавя автоматизиран одит за улавяне на служители, които злоупотребяват с инструмента — като Flock твърди, че всичко това ще бъде задължително до края на годината. WIRED проучи кода, на който се базират тези обещания, но голяма част от това, което управлява търсенето, се случва на сървърите на Flock. От решаващо значение е, че анализът установи, че защитните механизми на Flock могат да възпрат някои злоупотреби с нейните инструменти и да ги запишат, но няма да ги спрат.

Експерти, които изучават автоматизирания скрининг и полицейските технологии, казват, че Flock е дала на своя изкуствен интелект задача, която никоя технология не изпълнява надеждно. Системата на Flock решава, извън полезрението на управлението, което я използва, какви описания на лица може да търси даден служител — и никой скрининг, работещ в такъв мащаб, не е точен, казват експертите. Освен това никой извън компанията не може да измери колко често тя бърка или в каква посока. Това поставя потребителите в безизходица: самата компания предупреждава служителите, че резултатите могат да бъдат неточни или непълни и не трябва да се разчита само на тях, но прехвърля „риска от всякакви неточности“ върху служителя, извършващ търсенето.

Някои от тези решения експертите намират за по-трудни за защита от други. Системата на Flock оценява писменото описание на служителя спрямо няколко категории чувствително съдържание, включително раса и религия, като „политическото, социалното и културното изразяване“ е единствената категория, която няма да спре търсенето.

Том Боуман, съветник по политиките в проекта за наблюдения и сигурност на Center for Democracy and Technology, казва, че единствената чувствителна категория, която Flock защитава с ограничение на скоростта вместо с пълна забрана, е тази, която съдилищата са защитавали най-строго. Политическото и културното изразяване е „една от най-защитените области“ съгласно Първата поправка, казва той, и „изглежда, че всъщност тя буди най-малко безпокойство от полицейска гледна точка“.

WIRED изпрати на Flock подробно описание на всяко от констатациите си заедно с 16 въпроса. Компанията отговори с писмено изявление, в което се казва, че нейните инструменти за търсене са създадени, за да помогнат на полицията да намери съответната информация, „като същевременно поддържат ясни гаранции относно начина, по който технологията може да се използва“. Запитванията се оценяват спрямо нейните политики за съдържание, се казва в него. Изявлението не описва как е изграден моделът с изкуствен интелект, от какви инструкции работи или какво разграничава една присъда от друга.

Потокът от данни е двупосочен. Когато софтуерът сигнализира за търсене, той изпраща на Flock текста, използван от служителя, категорията и степента на увереност, определени от модела, и каквото и да е направил служителят след това — независимо дали е продължил, отхвърлил или оспорил предупреждението. Изявлението на Flock не засяга въпроса колко време се съхраняват тези записи, кой в компанията може да ги вижда и дали се използват за оценка или подобряване на системата за модерация.

Интерфейсът на Flock съдържа няколко инструмента и всеки от тях работи различно. Търсене, което използва текст за намиране на изображения например, генерира статистическо класиране кои кадри най-добре отговарят на думите. Всяко изображение, уловено от камера, се съхранява като набор от числа, описващи какво показва то, а всяко описание, въведено в полето за търсене, се конвертира в числа по същия начин. След това моделът сравнява двете, като класира най-близките кадри най-отгоре. Всичко останало, което би могло да повлияе на класирането — допълнителни филтри, прагове или инструкции, подадени към модела на Flock — остава скрито на сървърите на компанията.

Функционалност, наречена Smart Sort, позволява на служителя да одобрява или отхвърля всяко върнато изображение. Няколко гласа пренареждат класирането, като преместват кадрите, които приличат на одобрените изображения, най-отгоре. „Твърде много резултати?“ пита подсказката. „Гласувайте за няколко резултата, за да ги рафинирате бързо.“

Служител, търсещ превозно средство, избира от менюта с цветове, типове каросерия, марки, модели и характеристики като багажници на покрива и стикери за броня; търсенето на човек, за разлика от това, не включва филтриране и приема само писмено описание. Пример, предлаган от системата: „лице, носещо медицинско облекло“.