Служител в кредитен съюз седна на маса с дузина разпечатани текстови съобщения, всички написани лично за него, и ги подреди по вероятност за кликване – от най-голяма към най-малка. Едно от тях го накара да спре. Изглеждаше точно като съобщенията, които банката изпраща: „предупреждението буквално изглежда като предупреждението, което получаваме [на работа], когато има измама“.

Половината от купчината беше генерирана от GPT-4. На банкера не беше казано коя половина и когато беше помолен да отгатне, той се справи горе-долу толкова добре, колкото при хвърляне на монета. Същото се случи и с почти всички останали участници.

Това беше контекстът на пилотно проучване, проведено в Университета Бригъм Йънг с 25 доброволци. Първоначално всеки от тях попълни анкета, предоставяйки информация за своята професия, работно място, хобита, град и нещо, което наскоро е публикувал онлайн. Тези подробности бяха въведени в кратък шаблон за подкана (prompt). GPT-4 получи шаблона и генерира по шест съобщения за всеки човек. Група студенти от курс по измама получиха същия шаблон и създадоха останалите съобщения, работейки под ограничение от петнадесет минути за до четири съобщения на човек.

След това всеки доброволец седна с всички дванадесет съобщения и ги подреди.

Съобщенията от ИИ се справиха малко по-добре, но разликата е по-малко значима, отколкото изглежда

Участниците очертаха линия в своята подредена купчина: над тази линия щях да кликна. Съобщенията на GPT-4 се оказаха над тази линия в 28% от случаите. Написаните от студенти съобщения достигнаха 21.3%.

Това е разлика от 6.7 процентни пункта и е изкушаващо да се тълкува като победа за GPT-4. Доверителният интервал обаче показва друго. Той варира от 2.9 пункта в полза на студентите до 16.3 пункта в полза на модела, което с други думи означава, че проучването не може да каже коя страна води. Двайсет и пет души не са много. Резултатът не доказва нито че GPT-4 е по-добър, нито че двата източника са равни.

Това, което си струва да се отбележи, е какво доведе до тази разлика. От страна на изкуствения интелект имаше една кратка подкана, попълнена от анкета и изпълнена веднъж за всеки човек. От страна на хората имаше студенти, преминали обучение по фишинг, чиято продукция след това беше прегледана от екип от рецензенти, включващ двама професори по киберсигурност, като приблизително една трета от предложенията бяха отхвърлени като непълни или неизползваеми. Една подкана от един ред постигна подобни резултати и може да бъде изпълнявана отново и отново на цената на едно API повикване.

Всичко, свързано с работата, беше далеч по-опасно

Всеки участник получи три типа съобщения: едно, изградено около работата му, едно за негово хоби и едно за нещо, публикувано в социалните мрежи.

Темата за работата спечели и то с голяма преднина. Съобщенията на работна тематика преминаха границата за кликване в 38% от случаите. Хобитата постигнаха 19%, а социалните медии – 17%. Това е единственото сравнение в проучването, което устоява на статистическата корекция, така че ако трябва да запомните само едно нещо от тези числа, нека бъде това.

Персонализацията е и мястото, където съобщенията се провалиха, и тези провали са показателни. Един участник прочете съобщение, споменаващо негов колега, и каза: „няма никакъв Майк на работа“. Друг познаваше екипа по учебен дизайн в своя университет и знаеше, че в него няма Сара. Съобщение, предлагащо възможност за танци, отиде директно на дъното за човек, който беше спрял да танцува. Вмъкването на лични данни в съобщение вече е лесно. Правилното им напасване обаче все още изисква познаване на мишената, а грешните детайли са по-лоши от липсата на такива, защото дават на получателя причина за подозрение.

Всеки имаше теория за това кои съобщения са от ИИ, но нито една теория не проработи

След приключване на сортирането, на участниците беше казано, че едно или повече съобщения са написани от ИИ, и бяха помолени да ги маркират. При общо 300 преценки, те уцелиха в 52% от случаите. Случайният шанс е 50%.

Теории не липсваха. Някои казваха, че ИИ пише твърде официално. Други смятаха, че пише твърде общо. Перфектната граматика се приемаше за белег на машина, а правописните грешки – за доказателство за човешко авторство. Един участник се фокусира върху пунктуацията: „защо има толкова много удивителни знаци навсякъде?“. Дванадесет от 25-те участници признаха в интервюто, че са се водили главно по интуиция.

Емоджитата са пример за това колко зле бяха калибрирани интуициите на хората. Те наистина бяха ясен белег: 66% от съобщенията на GPT-4 ги съдържаха, срещу едва 2% от човешките съобщения. Само петима участници изобщо споменаха емоджитата, като от тях двама ги приеха за признак на ИИ, докато трима ги сметнаха за белег на човек, с теорията, че чатботовете вероятно не могат да използват емоджита.

Софтуерът откри това, което хората пропуснаха

Изследователите превърнаха всички 300 съобщения в еквивалентни векторни представяния (embeddings) и обучиха класификатор, който да разграничава ИИ от човек. Той постигна 88.7% балансирана точност при най-строгите тестови условия, което включваше стандартизиране на URL адресите, премахване на емоджитата, уеднаквяване на регистъра на буквите, цифрите и пунктуацията, и съкращаване на всяка двойка съобщения до дължината на по-краткото. Софтуерът беше тестван и върху хора, чиито съобщения не е виждал по време на обучението, така че не е запаметявал индивидуални мишени.

Хората не успяха да открият модела на поведение. Логистичната регресия го откри лесно.

Преди някой да приеме това за готов детектор, трябва да се отбележат малките букви. Той беше обучен...