Преминаване към злонамерени действия. Разрушаване на изолацията. Разминаване с целите (misalignment). P(doom). С бума на индустрията се появи цял нов жаргон в дебатите за това колко значим е в действителност изкуственият интелект.

В рамките на този нов изказ две фрази се превърнаха във фокусни точки: стохастични папагали и екзистенциален риск. A в центъра на тях е един изтъкнат изследовател на ИИ, който никога не се е оттеглял от битка – Тимнит Гебру.

Гебру привлече общественото внимание преди няколко години след спор с Google относно изследователски доклад, на който е съавтор и който посочваше предубежденията в ИИ на компанията, заявявайки, че LLM фундаментално повтарят като папагали данните за обучението си и рискуват да затвърдят предубедени гледни точки. Оспорваният доклад доведе до напускането на Гебру от компанията и я подтикна да основава институт, който разследва вредите, поддържани от технологията, и подкрепя създаването на необективни технологични инструменти. Тя също така е автор на нова книга, Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist, която се очаква да излезе в началото на следващата година.

Наскоро Гебру се изказа срещу фракция от индустрията, която вярва, че ИИ е толкова мощен, че може да унищожи човечеството. На свой ред някои членове на тази общност, включително съосновател на Anthropic, твърдят, че по-ранните изследвания на Гебру за стохастичните папагали вече не са уместни и че ИИ има способността да „мисли“ или да разсъждава. (В интересен обрат, или както бихте казали теория на подковата, убежденията на Гебру относно подобните на култ аспекти на общността за ефективен алтруизъм в ИИ я подредиха до десни субекти, които също критикуваха тези EA групи.)

Дебатът за ИИ вече не е само за самата технология, но и за идеологически групи и стратегически нарративи, и Гебру вярва, че тези нарративи са „вредно отклоняване на вниманието“ от истинските проблеми с ИИ. Наскоро разговарях с Гебру за това от какво според нея се отклонява вниманието от тези аргументи, и също така получих нейния отговор на критиките, че по-ранното ѝ изследване подценява днешния ИИ.

Това интервю е редактирано с цел съкращаване и яснота.

ЛОРЕН ГУД: Тимнит, благодаря ти много, че си тук.

ТИМНИТ ГЕБРУ: Благодаря ви за поканата.

Ще предположа, че много хора вече знаят това, но за тези, които не знаят, преди няколко седмици млад изследовател на ИИ в Anthropic се оттегли и в публикацията си за оставка в X той посочи, че много хора в компанията смятат, че сме изправени пред този голям екзистенциален риск с ИИ. Няколко души отговориха и се образува цяла вълна от коментари и дискурси за реалните заплахи от ИИ.

Когато двамата разговаряхме непосредствено след това, ти каза, че смяташ, че конкретният нарратив е отклоняване на вниманието от истинските проблеми, пред които сме изправени с ИИ. Можеш ли да разкриеш това малко повече?

Бих отишла дори по-далеч от това и бих казала, че е опасно. Това не е просто отклоняване на вниманието, но е вредно.

Преди да отговоря на въпроса ти, искам да дам кратка история за това как този нарратив продължава от дълго време. Илон Мъск и Питър Тийл казват, че това се случва от 2013 г. Видни хора казват, че ИИ е екзистенциален риск за човечеството. Това е абсолютно същата реторика на всеки три години.

Например Future of Life Institute …

Future of Life Institute е институт, основан от Макс Тегмарк, физик в MIT в момента, и Яан Талин, милиардер, който ръководи финансирането от Серия А на Anthropic.

Той беше съосновател на Skype, нали?

Да. Яан Талин също така финансира METR, който е одитор, така наречена трета страна, чийто доклад за така наречените от OpenAI излезли от контрол агенти, хакващи Hugging Face, стана вайръл.

Така че за обществеността може да изглежда, че толкова много различни субекти се събират и казват едно и също нещо. Но същите милиардери, които основаха и финансираха Anthropic, тези, които ще спечелят от нейното първично публично предлагане (IPO) повече от всеки друг, също основаха и финансираха институциите, предупреждаващи за, в кавички, „екзистенциалния риск“ от ИИ. Те също основаха и финансираха третите страни, които в момента се цитират усилено, сякаш са независим субект.

Кажи ни защо смяташ, че „нарративът за машината-бог“, както го наричаш, е отклоняване на вниманието.

Това е дори повече от отклоняване на вниманието. Вредно е. Причината да ви казвам всички тези факти е, че тези хора, финансиращите, основателите, инвеститорите, които ще спечелят и ще спечелят най-много от първичното публично предлагане на тези компании, казват това – че те са били тези, които са посели този нарратив в продължение на десетилетия.

Така че хората трябва да попитат защо. Ако от дадено нещо щях да получа много пари, защо изглежда, че аз съм човекът, който казва, че тази конкретна компания може да създаде нещо, което да ни убие всички? Звучи парадоксално.

Ето защо наистина изпитвам голямо уважение към [бившата председателка на Федералната търговска комисия] Лина Хан, защото едно от нещата, които тя каза, е, че няма изключение от настоящите закони, които имаме за ИИ компаниите, а те говорят така, сякаш има изключение. Вие казвате, че каквото и да градите, то е толкова мощно, че е отвъд всичко, което сме виждали преди.

Точно така. Това е себевъздигане. Казва се, че ние сме създателите на бъдещето тук, но бъдещето ще бъде наистина плашещо, ако не можем да продължим да изграждаме това.

Трябва да обърнете внимание на това какво казват те в медийните цикли. Когато казват, че ИИ може да причини екзистенциален риск, те също така казват, че ИИ може да спре изменението на климата, да ни донесе световен мир и да изкорени бедността.

ИИ може да направи всички тези неща, защото е мощен. Може да ни донесе утопия, но също така, ако погрешните хора го направят и нямаме защитни机制 или каквото и да е, може просто да ни убие всички. Така че едни и същи хора вярват в тези неща. Има само малко хора, които могат да бъдат в един от тези лагери.

Когато казвате на хората, че имате супер мощни машини, това, за което говорите, на първо място, са вашите инвеститори. Вие казвате: „Искате да сложите ръка на тези супер мощни машини.“ Вие говорите на правителствата, казвайки: „Не искате вашите противници да сложат ръка на тези супер мощни машини. Вие искате да сложите ръка на тези супер мощни машини.“ И вие също така казвате на всички регулиращи органи, че каквато и регулация да мислят, тя трябва да бъде за тези фиктивни супер мощни неща.

Ако говоря за потенциално пълно унищожение на цялото човечество, неща като замърсяването и центровете за данни звучат някак незначителни, нали? Говорите за защита на авторските права за художници, за реални съдебни дела, които се водят в момента? Правителството не бива да губи времето си да мисли за тези неща. И ако губите времето си да ни регулирате по тези малки теми, рискувате Китай да се сдобие със супер мощните машини. А вие не искате това. Доверете ни се, ние можем да изградим машина-бог, която да ни помогне, и ви казваме, че искаме да бъдем регулирани.

Това е първият въпрос. Вторият проблем е, че винаги можете да се преоблечете в ролята на снемащ от себе си отговорност.

В предишните ни разговори сме говорили за използването на определен език или фрази за описване на тази модерна ера на изкуствения интелект и как вие не сте съгласни с някои от тях. Така например, в предишния ни разговор казахте нещо за автономните оръжия. След като това беше публикувано, ми казахте, че по-късно сте съжалили, че сте казали това, защото бихте го формулирали различно. Говорили сме за P(doom). Говорили сме за това как, когато казвате, че агентите са излезли извън контрол, както в сценариите на OpenAI, вие по същество премахвате вината от инженерите, които са създали тези инструменти.

Чудя се дали има групи, които всъщност са по-съгласувани помежду си, отколкото осъзнават, по отношение на безопасността и прозрачността, но които използват различни фрази, за да опишат това, което е по същество едно и също нещо.

Една от причините да съжалявам, че казах тези думи, не е, че имам някакъв проблем с термина „автономни оръжия“. Това е юридически термин. Дори противопехотните мини се считат за автономни оръжия от юридическа гледна точка. Просто хората в така наречения лагер на екзистенциалния риск го присвоиха, за да означава нещо различно.

Когато казах термина, знаех. Бях като: „Хм, чудя се дали това ще бъде прието по този начин.“ И беше, защото хората, които говорят за екзистенциалните рискове от AI, го приеха в смисъла, който влагат, нали? Което е нещо като някаква суперчовешка, суперинтелигентна машина, която прави неща сама.

Случи се така, че бях на Общото събрание на ООН миналата седмица. Бях част от съпътстваща дискусия, така че не бях допуснат нито в Общото събрание, нито в Съвета за сигурност. Но много водещи технологични лидери говориха. Както Сам Олтман, така и Дарио Амодей говориха за необходимостта от глобално сътрудничество за справяне с екзистенциалните рискове за човечеството. Според информациите Дарио е казал: „Ако се управлява лошо, аз дори вярвам, че AI може да бъде риск за човечеството като цяло.“ Неговият конкурент Сам Олтман каза: „Можем да загубим контрола върху бъдещето в полза на AI.“ Та обяснете как така тези хора, чиито компании имат търговски интерес от продажбата на AI, сега са тук на световната сцена в ООН и казват: „Не знам. Тук може да има известни рискове.“ Това част от завладяване на регулатора (regulatory capture) ли е? Дали ще търсят начини за саморегулиране, преди да има действителни регулаторни мерки срещу това?

Абсолютно, това е част от завладяването на регулатора.

Какво може да се направи? Какъв вид управление смятате, че е необходимо за AI?

И така, това завладяване на регулатора се случва от дълго време.

През 2023 г. същото нещо. Сам Олтман каза същото. Нуждаем се от световно сътрудничество и т.н., и т.н. Законодателният акт за AI на ЕС въведе регулации и тогава той заплаши да се изтегли от ЕС. Така че просто трябва да видите какво всъщност са направили. Когато има регулация, която наистина ги регулира за реални неща, които правят, и ги държи отговорни, те заплашват да се изтеглят или лобират изключително усилено, за да размият тази регулация.

От друга страна, те обикалят и казват на тези многостранни органи, че трябва да има световно сътрудничество и т.н., и т.н. И отново, какво прави това? Това е реклама на самите тях като организации, които създават така наречения суперинтелект, нали? Така че това вече е маркетинг.

Те също така карат всички да се страхуват от всеки друг, който би могъл да създава такива неща. Затова те не искат модели с отворени тегла (open-weight) от Китай. Те не искат тази конкуренция. Не следя китайските регулации толкова внимателно, но те не говорят за екзистенциален риск. Те говорят за дийпфейк (deepfakes) и говорят за реални неща, които трябва да бъдат регулирани.

Така че първото е да се рекламираш като създаващ супер мощни, невиждани досега неща, за които нямаме съществуваща регулация, което не е вярно. Имаме съществуващи регулации. Но второто е това, което правят, когато някой се опита да приложи съществуващата регулация — те или заплашват да се изтеглят, или лобират здраво, за да нямат тази съществуваща регулация. Така че причината да се връщам към преди 10 години, преди пет години, преди три години е, че всичко е същото. В моята книга казвам, че това е „същият филм на повторение с различни герои“.

И така, какво е решението за управлението в момента, ако трябваше да го предложите?

Много, много прости неща. Първо, аз не съм правен специалист, но бившият комисар на FTC Лина Хан очерта пет неща. Едното е заблуждаващи маркетингови практики. Знаете, че има закон за заблуждаващите маркетингови практики и можете да подведете компаниите под отговорност за това.

Второто е прозрачност, документация. Преди да пуснете нещо на пазара, трябва да можете да ни кажете откъде са дошли всички данни и действително да го документирате. Това просто нещо те не правят. Казвам ви, че те ще се борят със зъби и нокти да не правят това просто нещо — документирането на данни.

Трудовата експлоатация на работещите с данни — това е друго нещо, за което те не искат да говорят.

Ние сме тук в света, в облаците, говорейки за суперинтелект, докато стотици милиони хора по света старателно етикетират данни, дори се преструват на чатботове.

Точно така. 404 Media наскоро съобщи, че при новия чатбот Meta Muse, когато го използвате за някои случаи, всъщност от другата страна има човек, който отговаря.

Да, много просто. Прозрачност на данните, трудова експлоатация — не трябва да можете да крадете данни от хората. Дори първите три неща, за които говорих — прозрачност на данните, документация, трудова експлоатация — ако трябваше да спазват закони като тези и не им беше позволено да крадат данни и да не ги документират... в момента пазарните изчисления не работят, но с тези допълнителни мерки просто нямаше да работят по никакъв начин. Автоматично щяхте да ги забавите и да ги накарате да носят отговорност за нещо.

През 2021 г. бяхте съавтор на доклад, озаглавен „On the Dangers of Stochastic Parrots“ („За опасностите от стохастичните папагали“).

Google първоначално го одобри, след което започна да го преглежда. Имаше части от него, които бяха спорни. В някакъв момент вие казахте: „Вижте, ако искате да премахна името си от това, аз няма да участвам.“ Накрая напуснахте Google. Този доклад по-късно беше представен на Конференцията за справедливост, отчетност и прозрачност на ACM през 2021 г. и хората все още го цитират.

Можете ли накратко да обясните за някой, който никога преди не е чувал за стохастични папагали, какво общо има това с изкуствения интелект, който използваме днес, и какво означава то?

Стохастични папагали е метафора, която помага на хората да разберат какво правят големите езикови модели. Големите езикови модели са модели, които са обучени върху огромни количества текстови данни в интернет, и са обучени да извеждат най-вероятните последователности от текст въз основа на техните данни за обучение. Те захранват повечето от чатботовете, които виждаме днес, независимо дали става дума за Claude или ChatGPT.

Когато написах този доклад, ChatGPT дори още не беше излязъл, но виждахме надпреварата за изграждане на все по-големи и по-големи езикови модели. Така че именно опасността от изграждането на все по-големи и по-големи езикови модели описвахме в този доклад.

Че те по същество щяха да повтарят хората като папагали?

И така, да повтаряш като папагал означава да повтаряш без разбиране, нали? По онова време също имаше цяла история за екзистенциален риск, ако щете вярвайте. Знаете ли, OpenAI твърдяха, че GPT-2, предшественикът на GPT-3, който захранва ChatGPT, е твърде опасен и твърде мощен, за да бъде пуснат. Имаше цял разговор за това дали GPT могат да бъдат етични, или са креативни и всички тези неща. Така че ние наистина искахме да заземим разговора върху реалните проблеми.

Един от тези проблеми е екологичната катастрофа, която много хора виждат в момента, и това беше една от основните секции, от които хората в Google бяха недоволни. Екологичната цена. Другият е не документирането на вашите данни, защото казвате, че имате твърде много данни за документиране.

Другият е подвеждането на хората да вярват, че зад текстовите резултати, с които взаимодействат, има разум. Ично тук наистина искахме да обясним, че тези системи повтарят като папагали моделите от своите данни за обучение.

Много е опасно, когато извеждате такъв текст, защото когато имате правдоподобно изглеждащ текст или много плавен текст, има толкова много различни видове проблеми, които могат да възникнат, освен че вярвате, че зад машината има разум. В този доклад дадохме пример с палестинец, написал „добро утро“, което беше преведено като „атакувайте ги“.

Поради тази граматическа коректност нямаше никакви знаци, че преводът може да е грешен, и хората повярваха на превода. И така, другият проблем от това да вярваш, че зад машината има разум, е това, което наричаме предвзетост към автоматизацията. Прекалено се доверявате на автоматизираните системи и ако вярвате, че това нещо е всезнаеща машина, тогава ще се доверите прекалено много на грешките, които получавате, нали?

Забавно е. Сигурно съм твърде голям по-възрастен милениал, защото вие казвате, че има твърде голямо доверие в автоматизацията, а аз съм толкова недоверчив. Ако се обадя в банката и е робот, си казвам: „Не, не.“

„Не искам да говоря с това.“ Точно така.

Един от съоснователите на Anthropic, Джак Кларк, наскоро публикува нещо в X. Той отбеляза стохастичен папагал в кавички и каза, че това е миметично пригоден когнитивен вирус, който се е разпространил от 2021 г., когато излезе вашият доклад, до 2025 г.

Той временно заслепи много надарени хора за естеството на напредъка на изкуствения интелект, изхаби решаващи години на изследвания, казва той. По-късно той казва, че използването на тази рамка кара хората съществено да подценяват какво могат и какво не могат да правят системите за изкуствен интелект.

Когато видяхте публикацията на Джак в X, каква беше първоначалната ви реакция на това?

Не бях изненадана, нека просто ви кажа.

Това е опорна точка, която [ефективните алтруисти] казват на законодателите сега, защото всеки път, когато кажех нещо, те казваха: „О, не трябва да приемате нариозно някой, който все още приема нариозно нещото със стохастичните папагали през 2026 г.“

Идеята е, че изследването е остаряло, нали?

Да. А то не е. Толкова е нелепо, че изобщо казваме това, защото това са дефиниции за това какво представляват големите езикови модели.

Това, което представляват големите езикови модели, не се е променило и никога няма да се промени. Големите езикови модели са големи езикови модели. Сега може да имате големи езикови модели в отделна система. Вече имат агенти за обучение с подкрепление. Но нашият доклад беше за големите езикови модели и това никога не се е променило.

И тези чатботове все още имат големи езикови модели като основа. Толкова е нелепо, че Джак Кларк говори за преувеличаване на възможностите на системите, защото това, което виждам, са примерите, които току-що ви казах. Това е прекомерно доверие към тези системи, липса на механизми за контрол и баланс и завършване с погрешно диагностициране на нечий рак на гърдата от грешната страна.

Има директна връзка между това, че езиковите модели са по същество стохастични папагали, и поставянето на грешна медицинска диагноза с помощта на инструмент за изкуствен интелект, защото защо? Как едното води до другото?

Стохастичните папагали не разбират какво има вътре в текста, така че не можете да очаквате от тях да бъдат фактологични.

Дори да видите нещо като AI Overview. Обаждах се на приятел онколог, за да попитам за конкретно лекарство и дали е подходящо за конкретна употреба, защото прочетох научния доклад, в който се казваше, че не е, и исках потвърждение. И моят приятел онколог каза: „О, виж в Google Overview. Пише, че е подходящо.“ Но се оказа, че не е.

Срещам това постоянно с Google AI Overviews.

Защото те са стохастични папагали, обучени да ви дават най-вероятните последователности от текст въз основа на техните данни за обучение.

Емили М. Бендър се опитва да каже това на толкова много езици от дълго време.

Също един от съавторите на вашия доклад, нали?

Да. Да се каже, че изследването е остаряло, е нелепо, защото точно сега, докато раздухваме суперинтелигентността и всичко това, има новини, които остават незабелязани, които са за пълната противоположност на сценария, който всъщност се случва в реалния свят.

Доколкото разбирам, някои от най-големите критики, които хората са имали относно фокусирането върху изследвания от онази ера, са, че то може да не включва мисленето или логическите изводи, или дори рекурсивната интелигентност …

Няма никакво мислене. Няма никаква рекурсивна интелигентност.

Няма ли никаква? Как така няма никаква? Това е нещо, за което, между другото, на конференцията за изкуствен интелект в Бъркли по-рано това лято чух някой от Google да говори за рекурсивна интелигентност.

The New York Times току-що публикува голяма статия за това как учените и изследователите в момента са насочили вниманието си точно към рекурсивния интелект — ИИ, който се учи от друг ИИ. Това реалност ли е? Звучи така, сякаш казвате, че това не е реалност.

Не, защото има един проблем с изследователите на ИИ и той е стремежът към гръмки наименования и амбициозни концепции. Така че машината за обучение (machine learning) — това е такова амбициозно наименование.

Но наименованието е просто амбиция. Машината не е задължително да е стигнала дотам.

Така че само защото има „учене по учебна програма“ (curriculum learning) в ИИ, това е просто научна област. Но нека ви дам пример със научен доклад от бившия ми мениджър Сами Бенджио, който е суперзвезда в машинното обучение, макар и не толкова известен колкото по-големия си брат Йошуа. Питала съм го: „Не се ли умори целият ти живот да преминава в това да оборваш цялата тази концепция за „разсъждението“ във всеки един доклад, който пишеш?“

Той напусна, след като ме уволниха от Google, и сега оглавява изследванията в областта на машинното обучение в Apple. Ако погледнете почти всеки един научен доклад от екипа им, той показва как ако промените съвсем малко бенчмарковете за разсъждение, цялата система се срива. Това не е разсъждение.

Нека ви дам друг пример. Само защото при вашите модели стохастичните модели, които сте обучили да отпечатват определени токени, вие ги наричате „верига от разсъждения“ (chain-of-thought reasoning). Вие не знаете дали те мислят, не знаете дали това е верига, просто знаете, че това са токени, които се отпечатват, но ги наричате верига от разсъждения. И сега твърдите, че те вече разсъждават.

Една от най-големите кризи, които имаме в момента, всъщност е надеждността на научните изследвания. Така че, ако погледнете моята работа, когато и да съм имала достъп до данните, кода, данните за обучение и данните за оценка — неща, които нито една от тези компании не ви предоставя — вие дори не знаете дали те са погълнали този бенчмарк по време на обучението или не.

Ако погълнеш бенчмарк по време на обучението, това е като да учиш директно за теста. Все едно аз да дойда на изпит, знаейки предварително отговорите на тези 10 въпроса, да ги науча и да ги напиша, нали? Всеки път, когато съм имала достъп до тези неща, съм показвала как техните твърдения не са верни.

Но в доклада на Сами Бенджио и неговия екип това, което те показаха — и това е от 2025 г. — е, че просто променяте малко бенчмарковете, коригирате ги съвсем малко и всичко се срива, което показва, че просто сте разчитали на шаблони. Сега някои хора, когато им дам този пример, казват: „Е, да, но ние говорим за моделите от 2026 г.“

И познайте какво? Истинската научна оценка отнема време. Не трябва да преминаваме от съобщения за пресата към законодатели, които папагалски повтарят тези съобщения, и журналисти, които тиражират тези твърдения. Ако искате да правите истински изследвания и оценка, поискайте данните за обучение, данните за оценка и методологията, за да можем всички да ги възпроизведем.

Така че мисленето, разсъждението, рекурсивният интелект — звучи така, сякаш все още виждате това като нещо изцяло човешко. Това е начинът, по който работят нашите невронни процеси, но ИИ все още не работи по този начин. Това ли е вашето мнение?

Не знам дали някога ще… Както и самият „интелигентност“ — това е амбициозно наименование. За да върна хората към тези цикли на медиен шум, понякога играя следната игра. Казвам им дадено твърдение, което е било направено, и питате: „Това от 1954 г. ли е или от 2024 г.?“

Коя бихте казали, че е най-голямата част от вашето собствено мислене, вашето собствено изследване, която се разви от началото на 2020-те години в областта на ИИ досега и която ви изненада най-много?

Трябва активно да освобождавам място за видовете модели, които смятам, че трябва да бъдат създадени, и да ги изграждам, като игнорирам излишния шум. Това е изводът, до който стигам.

Това е най-големият ви урок, най-големият извод.

В интернет в момента има толкова много шум, че е трудно да се свърши каквато и да е задълбочена работа, ако буквално обръщате внимание на всичко, което казват хората от ИИ индустрията.

Дори ако вашите изследвания на този етап са изцяло свързани с оборване на това, което те казват, нали знаете? Това става уморително.

Не е приятно да правиш това. По-приятно е да мислиш за бъдещето, което искаш да имаш, за технологичния напредък, който искаш да постигнеш, и да работиш върху това.

Какво бихте казали, че ви дава най-голяма надежда в момента за бъдещето на ИИ?

Искам да ви кажа, че имаме списък, наречен Списък за съпротива срещу ИИ (AI Resist List), където говорим за хора, оказващи съпротива по начините, по които трябва да оказват съпротива: по отношение на превземането на медиите, разказа, центровете за данни, финансирането и т.н.

И така, ние изброяваме начините, по които те се съпротивляват, а също и хората, създаващи алтернативни технологични бъдеща, които не унищожават нашата околна среда, не експлоатират труд и не крадат данни, а вместо това активно помагат на своите общности. И тези идеологии се разпространяват, нали? Виждате една малка организация някъде да прави нещо, вдъхновявате се от тях и правите нещо различно.

Така че имам надежда, че има много хора, уморени от това, което виждат, и те всъщност в малки кръгове правят нещо различно. Вярвам в човешката воля и колективната сила да си представим едно по-добро бъдеще, да спрем лошите неща да се случват и да забраним нещата, ако са лоши, нали?

Вярата ми в човешката воля мисля, че е това, което ми дава надежда.

Как да слушате

Ако използвате iPhone или iPad, отворете приложението Podcasts или просто натиснете тази връзка. Можете също да изтеглите приложение като Overcast или Pocket Casts и да търсите „Uncanny Valley“. Има ни и в Spotify.