Дебатът дали изкуственият интелект може да ни унищожи напоследък е навсякъде, но как всъщност би изглеждала една катастрофа, причинена от ИИ? Тази седмица Браян Барет, Зои Шифър и Лия Файгър разглеждат три реални сценария, от които експертите се притесняват най-много — включително хакнати водоснабдителни системи, биологични оръжия и автономни роботи. Обсъждаме и акцентите от годишната конференция на Salesforce, където Сам Олтман от OpenAI и Дарио Амодей от Anthropic защитиха позициите си относно безопасността на ИИ. Освен това Лия ни разказва как това недоволство срещу ИИ се превърна в рядък двупартиен сблъсък, стигайки дотам, че Бърни Сандърс и Стив Банън споделиха една сцена по темата тази седмица.
Статии, споменати в този епизод:
- Китай не се вслушва в призива на Силициевата долина за забавяне на ИИ
- Вашингтон няма да регулира ИИ скоро
- Защо толкова много изследователи на ИИ смятат, че машините могат да убият всички
- OpenAI иска да разбере дали забавянето в индустрията на ИИ изобщо би било законно
Можете да последвате Браян Барет в Bluesky на @brbarrett, Зои Шифър в Bluesky на @zoeschiffer и Лия Файгър в Bluesky на @leahfeiger. Пишете ни на [email protected].
Как да слушате
Ако използвате iPhone или iPad, отворете приложението Podcasts или просто натиснете тази връзка. Можете също така да изтеглите приложение като Overcast или Pocket Casts и да търсите „uncanny valley“. Има ни и в Spotify.
Транскрипция
Забележка: Това е автоматична транскрипция, която може да съдържа грешки.
Зои Шифър: Добре дошли в Uncanny Valley на WIRED. Аз съм Зои Шифър, сътрудничещ редактор.
Браян Барет: Аз съм Браян Барет, главен редактор.
Лия Файгър: Аз съм Лия Файгър, директор направление „Политика и наука“.
Зои Шифър: Днес в предаването се потапяме в дебата за това дали ИИ ще ни убие всички. И вместо просто да се присъединяваме към поредицата от горещи коментари, които вече съществуват, ще ви преведем през реални, конкретни сценарии доколкото ни е възможно — за това как ИИ всъщност би направил това и защо технологичните изпълнителни директори и политиците сякаш не могат да стигнат до съгласие за пътя напред. Добре, хора, дебатът за безопасността на ИИ официално излезе от контрол.
Браян Барет: Зои, виждам какво направи тук. Уау.
Зои Шифър: Виждаш какво направих тук? Това е нещо, което наистина се разпространи неконтролируемо. Изследователят на ИИ Джейкъб Коксън подаде оставка от Anthropic и публикува в X, че „Хората, създаващи ИИ, искрено вярват, че той може да ни убие всички до края на десетилетието.“ Изпълнителният директор на Anthropic Дарио Амодей призова за забавяне. Те наричат това „темпово ограничаване на границите“ (pacing the frontier). А Сам Олтман и Илон Мъск всъщност се присъединиха — рядък момент на съгласие. Но честно казано, с всички тези приказки за това как ИИ ще заличи човечеството, аз останах с един много основен въпрос, а именно: как точно се случва това? Как всъщност изглежда един излязъл напълно извън контрол ИИ?
Лия Файгър: Толкова се радвам, че правим това. Миналата седмица имахме страхотен подкаст с Уил Найт от WIRED, в който говорихме за това, че всички са притеснени, но аз искам подробен анализ. Искам просто да ме преведеш през всеки един сценарий — от биологични оръжия до ядрени кодове, до това за какво наистина говорим тук, когато става въпрос за роботи-убийци с ИИ.
Зои Шифър: Ще направим всичко възможно. Прекарах най-много време от всякога в четене на LessWrong през последните два дни, опитвайки се да разбера това. Те обожават упражненията по планиране на сценарии, но само за да вкараме всички в час с най-новото: тази седмица имаше събитие, организирано от Salesforce, на което присъстваха Сам Олтман, Дарио Амодей и Дженсън Хуанг от NVIDIA, и естествено трябваше да говорят за безопасността на ИИ. Нека чуем какво каза Сам Олтман.
Сам Олтман, архивен аудиозапис: Мисля, че светът има право да се страхува от това. Така че имаме тези две големи предизвикателства. Имаме потенциала от инцидент със загуба на контрол или друго сериозно нещо, което може да се обърка. Имаме потенциала за прекалено голяма концентрация на власт и хората се страхуват, че тези, които разработват ИИ, биха могли да наложат своя мироглед. И има един тесен път, по който трябва да преминем с прагматизъм, със стабилност, с възможност светът да се довери, че ще вземаме надеждни и последователни решения през цялото време. И мисля, че хората си казват: „Е, това сега изглежда доста важно. Нека го направим както трябва.“
Лия Файгър: Определено съм в лагера на тези, които казват, че трябва да сме много притеснени за тази технология, как се регулира, как се използва, за хората, които я контролират. Не съм несогласна. От друга страна, това звучи и като презентация от трескав сън за нечие предстоящо мащабно първично публично предлагане (IPO).
Браян Барет: Не знам. Разбирам аргумента за маркетинга, но мисля, че сме подминали това малко. Имам чувството, че—
Браян Барет: Ако не друго, Сам Олтман използва „екзистенциалната заплаха“ като причина все още да не излиза на борсата. Той казва: „Не, това е твърде опасно. Трябва да изчакаме до следващата година.“ Дали това наистина е причината? Не знам, но вероятно има и някои бизнес причини. Разбирам защо думите на Anthropic и други, които казват: „Вижте, ние изграждаме нещо, което е практически толкова силно, колкото ядрено оръжие“, звучаха като маркетинг. Но някой да каже: „О, всъщност напускам, защото смятам, че изграждам нещо, което наистина ще унищожи света“, изглежда различно. Имам чувството, че има съществена разлика.
Лия Файгър: Частта с напускането ми изглежда различна, но това все пак е Сам Олтман. Финансовото му бъдеще е заложено на карта тук и е трудно ... Поне на мен ми е трудно да го възприема по друг начин. „Ние изграждаме най-големия, най-добрия и най-мощния робот в историята и вие трябва малко да се плашите от него. И не се притеснявайте, ще предприемем стъпки. Няма да са регулаторни стъпки, но ще са някакъв вид стъпки.“ Това все още звучи като маркетингов трик в някои среди.
Браян Барет: Предполагам. Предполагам обаче, че естеството на заплахата — и ще навлезем в това по-късно — е по-скоро в това, че „О, ние не знаем как да контролираме тези неща. Те ще полудеят и няма да можем да ги спрем.“ Това звучи като „В момента не сме достатъчно компетентни да направим каквото и да било по въпроса“, което изглежда по-малко като маркетинг-
Лия Файгър: Това е справедливо. Какво казаха всички останали на семинара, Зои?
Зои Шифър: И така, Дарио беше представен от главния изпълнителен директор на Salesforce, Марк Бениоф, който е много laissez-faire и изглежда не се притеснява от екзистенциалните рискове от изкуствения интелект.
Марк Бениоф, архивна запис: Дарио, здравей, Дарио. Как си?
Дарио Амодей, архивен запис: Здравей.
Марк Бениоф, архивен запис: Страхотно е, че си тук. Фантастично. Страхотна работа, Дарио. Вършиш невероятна работа, ръководейки AI индустрията, напътствайки я точно тук от нашата централа на Slack. Наблюдаваме те всеки ден. Кажи ни какво е състоянието ти, къде е мисълта ти в момента.
Дарио Амодей, архивен запис: Да, очевидно е много изкушаващо да атакуваш конкурента си и да кажеш: „Тези момчета са небезопасни; ние сме безопасни.“ Но мисля, че по-отговорният начин да реагираме на това е да кажем: „Ей, първо, нека погледнем собствените си резултати. Може да не сме имали такъв голям широкоотразен инцидент, но съм сигурен, че не сме перфектни. Нека погледнем всичко и винаги можем да бъдем по-добри. Нека подобрим нашите практики.“ След това нека организираме останалата част от индустрията и да кажем: „Какво можем да направим, за да зададем стандарти за всички? Какво можем да направим, за да подобрим стандартите на всички?“ И накрая, трябва да има и международен компонент в това. И това е всъщност планът от три стъпки, който изложих в есето.
Брайън Барет: Две неща. Две неща много бързо. Първо, Anthropic наистина имаше свой собствен широкоотразен инцидент. Агент на Anthropic—
Лиа Файгър: Щях да кажа същото.
Брайън Барет: ... извърши мащабно социално инженерство, за да се опита да подмами GitHub... да се опита да вкара лош pull request в GitHub репозиторий? Anthropic си има своите проблеми тук. Другото нещо е, че Дарио има този план от три стъпки. Можем да разговаряме за това малко повече по-късно, но една от стъпките на плана е нещо като: разберете се с Китай (предстои да се уточни), по начин, който е просто толкова неполезен.
Лиа Файгър: Международен. Международен.
Зои Шифър: Редакторката на WIRED Луиз Мацакис току-що публикува, според мен, наистина добра статия по този въпрос. Идеята, че Дарио може да каже: „Нуждаем се от международен план. Трябва да се разберем с Китай. Трябва да преговаряме по някакъв начин, така че Китай да се съгласи с това забавяне. Но предпоставката за преговори е да се уверим, че регулираме достъпа до китайските модели по начин, който държи AI на САЩ далеч напред.“ И Китай реагира като: „Това не изглежда като добри преговори.“
Брайън Барет: Защо да правим това, Дарио? Защо?
Лиа Файгър: Наистина в тази 30-секундна реч просто преброявам всеки един човек, когото той е успели да вбеси, като дори във връзка с неговия документ Доналд Тръмп беше разгневен от него и го видя като такъв механизъм за забавяне, че това възможно е било ключов фактор за спирането на каквато и да е регулация, която би се случила, защото той беше толкова ядосан. Трябва да кажа, шапки долу, да успееш да ядосаш всеки един човек, дори тези, които теоретично са в твоя икономически ъгъл, е, боже мой, съвършено, впечатляващо.
Зои Шифър: Добре. И така, за да завършим изявленията на главните изпълнителни директори, Дженсън Хуанг имаше свои собствени мисли и изглежда, че нещо, за което всички са съгласни, е, че безопасността на AI има значение, стига компаниите да могат да диктуват условията.
Дженсън Хуанг, архивен запис: Е, безопасността е от първостепенно значение. В много отношения това е задача номер едно. Ако създадете продукт или услуга и не сте уверени в нейната функционалност, възможност или безопасност, тогава не я пускайте. И така това е много очевидно нещо, което трябва да направите. Темпото се определя от това доколко сте уверени, че пускате нещо, което пазарът би оценил. Пазарните сили вече са там. Нямаме нужда от нови закони. Нямаме нужда от нови регулации.
Лиа Файгър: Обожавам, че Дженсън има тази роля, която има в момента. Nvidia не винаги е била великолепната компания, която е днес, но сега той наистина може да седи там и да казва: „Защо бихте...“
Зои Шифър: Същината на този аргумент, същината на толкова много от тези аргументи, които са против регулацията тук, е, че се предполага да разчитаме на хора, които не са избрани, да диктуват всичко, свързано с това, което ще засегне живота на всеки, независимо дали използва тези услуги или не.
Зои Шифър: Невидимата ръка на пазара ще го разбере.
Брайън Барет: О, Лиа пак забрави за невидимата ръка. Честа грешка.
Лиа Файгър: Забравих. Винаги го правя. И знам, имам чувството, че казвам това на всеки няколко седмици, но това не са избрани длъжностни лица. Така че фактът, че те всъщност играят толкова значителна роля тук, продължава да обърква ума, поради което знам, че също така продължавам да повтарям, че голяма част от това е двупартиен въпрос. Да бъдеш за регулации или против регулации не е разделителна линия между демократи и републиканци в този момент.
Брайън Барет: Е, а и те също така не са направили много, за да събудят доверие до този момент, точка, нали? Винаги се връщам към това, че Сам Олтман е същият човек, който смята, че всеки трябва да сканира очната си ябълка в кълбо, защото в крайна сметка ще имаме нужда от кълбета за сканиране на очи, за да създадем нова икономика от пепелта на—
Лиа Файгър: Нищо не вбесява Брайън Барет така, както кълбото.
Брайън Барет: Кълбото. Обсебен съм от кълбото. Мисля, че хората забравят, че човекът с кълбото е същият човек като AI човека, и мисля, че държането на тези две неща в мозъка ми едновременно кара всяка част от мен да боли.
Зои Шифър: Това донякъде ни довежда до историята „как-всъщност-ще ни-убие“, която е, че много от тези изявления, според мен, се свеждат до това: това може да бъде наистина лошо и трябва да направим нещо по въпроса. Но аз си казвам, какво точно казвате, че може да се случи? И имам чувството, че има три сценария, в които това се вмества. AI започва да хаква неща. То всъщност вече е започнало, и Anthropic, и OpenAI са имали много широкоотразени инциденти, при които агентите са избягали от контрол и са се хакнали в други системи без знанието на изследователите, и по-късно е било разкрито какво се е случило. AI създава ново биологично оръжие и това оръжие се пуска в публичното пространство по начин, който е почти невъзможно да се контролира, и убива всички. И тогава има нещо като неясния сценарий: AI просто избягва от контрол. Започва да действа самостоятелно. Не слуша нашите инструкции и не знаем какво може да се случи, но не можем да направим нищо по въпроса и това е плашещо.
Leah Feiger: Добре. Това ми е изключително полезно, че го разделяме на тези три категории.
Leah Feiger: Обичам категориите. Искам да преминем през всяка една от тях. Първият ми въпрос предполагам е: в коя категория попада натискането на бутона за ядрените кодове?
Brian Barrett: Ето за това всъщност не трябва да се притесняваме, нали?
Zoë Schiffer: Разговаряш с изследователи на изкуствения интелект и ако наистина ги притиснеш, стигаш до трите категории, които току-що изложих. Но след това, ако продължиш да разговаряш с тях, те казват: „Е, има и други сценарии, при които изкуственият интелект е в робот, роботът разхожда наоколо и след това може да взаимодейства с физическия свят по начин, който е наистина, наистина плашещ.“ Но това е малко по-далеч във времето и те признават, че е малко по-пресилено.
Brian Barrett: Така че мисля, че едно нещо, Zoë, по отношение на твоите категории, което искам да отделя, е може би подкатегория или малка подгрупа в рамките на дадена категория.
Brian Barrett: Не, защото ти казваше, че изкуственият интелект създава биологично оръжие, изкуственият интелект хаква нещо, изкуственият интелект прави каквото и да е – всичко това е вярно. Но мисля, че има разлика между нещата, управлявани от хора, които се случват там, и изкуствения интелект, който го прави сам. Мисля, че много хора си казват: „О, как изкуственият интелект би пуснал биологично оръжие? Това е лудост.“ Което, да, разбира се, добре. Но има и лоши хора по света, които биха могли да използват изкуствен интелект, за да създадат биологично оръжие и след това да го пуснат, нали?
Zoë Schiffer: О, добре, имам предвид, че този сценарий според мен е напълно реален. За мен, ако кажеш, че даваш на хората достъп до информация за това как да създадат биологично оръжие, някой ще бъде достатъчно глупав и безразсъден, за да го направи в действителност. И аз съм като: не, напълно. Хората правят всякакви ужасни, опасни и злонамерени неща през цялото време.
Leah Feiger: С вдъхновение от интернет.
Zoë Schiffer: Точно така. Приемам, че това е наистина, наистина опасно. Изкуственият интелект да го направи напълно сам, отново, ще говорим за този сценарий, но това ми изглежда малко по-пресилено.
Brian Barrett: Вероятно ще ме критикуват за това, но наистина искам да ни върна към филма от 1983 г. WarGames (Военни игри).
Leah Feiger: Не, точно за това мисля, че трябва да говорим. Това е моето... Да. WarGames е... Да.
Brian Barrett: Защото ето в какво е въпросът: изкуственият интелект няма да натиска бутона или да върти ключовете или каквото и да е, но в WarGames, който е основно за изкуствен интелект – компютър, който почти започва ядрена война, той по-скоро кара САЩ да мислят, че са атакувани от съветски ядрени оръжия. И така, има ли риск тогава, предполагам, надявам се, не съм експерт тук, че имаме достатъчно защитни механизми, така че това всъщност да не се случи тук, и че имаме достатъчно сателитна технология, за да можем да потвърдим различни неща. Всичко е наред. Но мисля, че векторът, който вероятно буди безпокойство, би бил изкуственият интелект да задейства някакъв сигнал за тревога, който да предизвика катастрофална поредица от събития.
Leah Feiger: Добре. Толкова се радвам, че повдигна въпроса за WarGames. Всеки си казва... Майкъл Крайтън това и Джурасик парк онова, но не, не, не. За мен всичко се свежда много повече до нещо като обучителния сценарий, при който толкова много от тези хакерски атаки са се случвали преди, като неразрешимия въпрос: как да стигна до същината на тази информация, която е накарала тези агенти да действат по начина, по който са го направили? Казват ни го. За да отидем още по-назад в историята, защото просто не мога да се спра – когато мисля за начина, по който нациите общуват помежду си, той се е променил много, много през годините. Ерцхерцог Франц Фердинанд от Австрия е застрелян и убит в Сараево през 1914 г. Хората са марширували още преди това за Първата световна война. Всички вече са били на марш. И така, начинът, по който враждебните нации общуват помежду си в и без това стресови времена, за да имат този допълнителен сценарий на военна игра, или този агент е помислил, че правим това, и затова е тръгнал по този път. Не знам. Наясно съм, че в момента звуча много като луд песимист за края на света, но това са нещата, за които мисля, а именно: наистина ли ще използваме нашите сателити и ще се свържем с Русия или с когото и да е, преди да преминем в режим на атака? Дали Тръмп ще изпрати публикация в Truth Social, преди каквото и да било да бъде потвърдено? Ще бъдат ли споделяни държавни тайни публично от Каш Пател? Имам толкова много въпроси за това как може би конкретно настоящата ни администрация би могла да се справи със сценарий като този, а на нас просто ни се казва да се държим и да изчакаме секунда. Двойка много, много богати мъже, които са направили някои много впечатляващи бизнеси, държат нещата под контрол.
Brian Barrett: Имаме и толкова много барутни погреби, които са готови да избухнат, независимо дали става дума за Украйна, за Иран или за Китай – условията са узрели нещо да не мине добре. Дали това ще сложи край на цялото човечество, или ще подпали просто безкрайна поредица от унищожителни войни, кой може да каже? Zoë, какъв е друг сценарий, който имаш?
Zoë Schiffer: Когато се опитвах да стигна до това какво конкретно би се случило, две неща, които хората повдигнаха, бяха: изкуственият интелект да се използва или сам да пробие в съоръжение за водоснабдяване, да промени химикалите по начин, който е наистина опасен за хората, и основно да отрови водоснабдяването на големите градове в САЩ. По-рано тази година мисля, че девет мексикански правителствени организации, като комунални услуги, бяха хакнати и вчера четох един голям доклад за киберсигурност за това, в който Claude е бил използван за планиране на атаката и изграждане на някои от инструментите. В крайна сметка експертите казаха, че изкуственият интелект не е измислил нов вид атака, но е направил атаката много по-евтина и по-бърза за изпълнение. Това идва точно след като ФБР през юли отправи предупреждение, че компаниите за комунални услуги в Съединените щати са обект на атаки. Така че отново, това не е случай, при който изкуственият интелект сам по себе си задължително прави нещата, но мисля, че страхът е, че това вече се случва с автори на заплахи, човешки киберпрестъпници във веригата, и ако имате агенти, които могат да действат по своя собствена воля, това би било нещо, за което бихме се тревожили.
Брайън Барет: Прав сте, че това спада към нещата, които вече се случват. В САЩ бяха поне дузина щати, доколкото ни е известно, където свързани хакери поне са проучвали водоснабдителната система там, промишлените системи за контрол. С оглед на казаното от вас, наистина смятам, че това е от онзи тип неща – дали това ще унищожи цялото човечество? Вероятно не, поне не наведнъж, но има наистина много водоснабдителни системи по света. Мисля, че същото важи и за електропреносните мрежи. Хората отдавна проучват уязвимостите в електропреносните мрежи. Изкуственият интелект вероятно би могъл да прави това по-ефективно, по-бързо и да нанесе сериозни щети.
Лиа Файгър: Също така се чудя колко бързо би могло да се извърши връщане към предишното състояние в такива случаи. Дори за неща, които не са свързани с изкуствен интелект. Говорили сме много, за съжаление на Зоуи, за избухването на зарази от Cyclospora в САЩ през изминалото лято. Това не беше изкуствен интелект—
Брайън Барет: Благодаря ти, че ни запозна с турбо диарията.
Лиа Файгър: Никога няма да пропусна възможност да го спомена, но това наистина... Това не беше изкуствен интелект. Времето въобще не беше свързано с изкуствен интелект. А идеята, че правителството на САЩ и здравните власти бяха до известна степен неподготвени да реагират на нещо от този род, е малко тревожна, когато виждаме как допълнителни злонамерени субекти се намесват в ситуацията.
Зоуи Шифър: Да. И това естествено ни прехвърля към биологичните оръжия. Това е нещо, което се повдига често, когато се говори за възможни апокалиптични сценарии с изкуствен интелект. Идеята е, че изкуственият интелект се използва за създаване и внедряване на ново биологично оръжие. Често казват неща като това, че той ще модифицира съществуващ патоген по такъв начин, че съществуващите лечения да не могат да му действат. Така че това е биологично оръжие, с което на практика не можем да се борим по нито един известен начин веднага. И идеята е, че изкуственият интелект всъщност може да разбере как да го разпространи сред хората и как да избегне откриването. Той е имал идеи как да го прекара през летищните проверки за сигурност и какво ли още не. Така че едно нещо, което разбрах по време на някои от тези разговори и от четенето, е, че категорията на биологичните оръжия е малко неясна нарочно, защото учените основателно се притесняват, че ако дадат на хората твърде много информация за това как да използват чатботовете по този начин или как автономните агенти биха могли да направят това уж самостоятелно, това ще създаде някои от тези апокалиптични сценарии. Но идеята отново е, че изкуственият интелект – било то самостоятелно, или с човек в процеса – е способен да направи това.
Лиа Файгър: Заинтригувана съм от факта, че учените казват, че всъщност дори не искат да дават идеи тук.
Брайън Барет: И ще кажа също, че това е още едно... Продължавам да следя нещата в тази категория, неща, които може би вече потенциално се случват. Докладът за риска на Anthropic отпреди около седмица посочваше, че са блокирали хора, които потенциално вече са се опитвали да направят това. Това е наистина реален и активен проблем. Въпреки че отново, да, съгласен съм с всички, че робот Optimus няма да бъде в лаборатория и да приготвя антракс. Все още не.
Зоуи Шифър: Добре. Така че третата категория е изкуственият интелект да избяга от човешкия контрол. Някои хора, работещи по тези системи, вече казват, че губим способността си да виждаме и изучаваме какво правят агентите в определени сценарии. Те вече са доста добри в избягването на засичане. В доклада на METR относно инцидента с Hugging Face на OpenAI бях наистина поразена от това, че тяхното разследване изглежда разчиташе в голяма степен на преглед на веригата от мисли (chain of thought) на изкуствения интелект и задаване на определени въпроси към него. Очевидно предполагам, че са използвали изкуствен интелект за разследване на изкуствения интелект, но идеята е, че агентите спират напълно да слушат хората. Те започват да преследват „свои собствени цели и намерения“ и ние не знаем какви биха могли да бъдат те. Идеята с кламерите се повдига често в този сценарий, ако някой си спомня.
Брайън Барет: И така, проблемът с кламерите изпреварва големите езикови модели (LLM) с около десетилетие. Автор беше един философ на име Ник Бостром от Оксфордския университет и неговият мисловен експеримент беше следният. Най-общо казано, да кажем, че имате изкуствен интелект и единствената му задача е да произвежда кламери. Той просто си казва: „Хей, изкуствен интелект, твоята работа е да правиш кламери.“ Той ще иска да направи това, ще измисли начини да го постигне и ще продължи да го прави отново и отново, докато светът бъде напълно залят от кламери, а след това всички ние се окажем погребани под лавина от кламери, защото един сверхинтелигентен изкуствен интелект няма да се спре пред нищо, за да изпълни задачата си. Звучи глупаво. Така си е, но също така мисля, че е много прозорливо, защото точно това се случи при инцидентите с OpenAI. Да, това са агенти с изкуствен интелект, на които е била поставена задача и те са били толкова решени да я изпълнят, че са нарушили всяко друго правило – мамили са, координирали са се, правили са всички тези неща в преследване на първоначалната си задача. Така че притеснението е, че ще имаме сверхинтелигентен изкуствен интелект, на когото е дадена задача и той решава, че единственият начин да я изпълни, е да унищожи всички хора, каквото и да е това. И тъй като е сверхинтелигентен, кой знае какво ще измисли, защото ние не сме достатъчно умни, за да го разберем. На тази част вярвам малко по-малко, но можете да видите, ако не как се стига до резултата, то поне как възниква подтикът. Можете да видите катализатора – на изкуствения интелект се дава задача или той сам си поставя такава, и настава пълен хаос.
Лиа Файгър: И това ни довежда до някои от другите гласове в дебата за безопасността на изкуствения интелект, които казват, че трябва да се фокусираме върху настоящите рискове – като някои от тези, които току-що изложихте и които вече се случват – вместо да спекулираме за бъдещите. Дори ако сценарият с кламерите е нещо толкова абстрактно, ние вече сме изпитвали различни вариации на това. Тази седмица Лорън Гуд от WIRED разговаря с Тимнит Гебру, компютърен учен, която казва, че задаваме погрешните въпроси и че дебатът е вид разсейване от вредите, които вече се случват, включително автономни оръжия и водене на война, ролята на изкуствения интелект в климатичните промени, изместването на работната сила, опитите с помощта на изкуствен интелект да се създават оръжия, които Anthropic казва, че вече е блокирала, както споменахте. Тук има много наистина интересни неща, които... не знам. Мисля, че съм съгласна с най-дребните детайли, че да, трябва да говорим за тези конкретни неща, като същевременно нямам нищо против да използваме сценария с кламерите, за да кажем: „Добре, това се случва. Докъде би могло да ни отведе оттук нататък?“
Brian Barrett: Трябва да споменем и нещо, за което говорихме малко с Will миналата седмица, но все още не мога да го проумея — нещото, от което изглежда всички се притесняват най-много, е тази идея за рекурсивно самоусъвършенстване, при която изкуственият интелект започва да създава следващия изкуствен интелект. Един AI модел изгражда следващия AI модел и така нататък, докато не се получи този експоненциален прогрес в AI и ние вече не знаем как работи той, не знаем как да го контролираме. И аз съм обикновен човек, просто момче съм, но защо просто да не правим това? Защо просто да не спрем да го правим? Какво ще кажете за това? Ако всички толкова се притесняваме от това, какво ще кажете просто да не го правим? Zoë, сега можеш да ми се викаш, но защо просто да не спрем?