Anthropic официално подаде проспекта за своето първично публично предлагане (IPO), което означава, че лабораторията за изкуствен интелект изложи на показ всякакъв вид досега поверителна информация. Макар че проспектът съдържа впечатляващи приходи — и дори още по-големи разходи, както може да се очаква — най-големият раздел в документа категорично е посветен на „рисковите фактори“, представляващи всичко онова, което би могло да провали мащабните планове на Anthropic. Или, в този случай, самото човечество.

Макар че много се говори за степента, до която изкуственият интелект представлява екзистенциална заплаха за човечеството, конкретните механизми, чрез които той би могъл да доведе до това унищожение, остават до голяма степен непрозрачни. В крайна сметка обаче тези 94 страници, които проспектът на Anthropic отделя на рисковите фактори, изясняват както откъде компанията вижда идващата опасност, така и начините, по които нейните изследователи се втурват към нея, за да спечелят надпреварата във въоръжаването с ИИ.

„Достатъчно напреднали системи с ИИ биха могли, ако не бъдат разработвани, внедрявани и експлоатирани с подходящи защитни механизми, надзор и мерки за сигурност, да породят катастрофални или екзистенциални рискове за човечеството“, се посочва в проспекта, като се цитират опасения както от критици и регулаторни органи, така и от самата вътрешна среда на Anthropic. (Това е първият от общо три пъти, в които се появява фразата „екзистенциални рискове“.)

Anthropic обаче внимателно свързва този резултат с конкретен процес: рекурсивно самоусъвършенстване (recursive self-improvement – RSI).

Идеята зад RSI е поразително проста. Тя описва състояние, при което хората преотстъпват научноизследователската и развойната дейност по моделите с ИИ на други модели с ИИ. Изкуственият интелект вече играе голяма роля тук — и поне една лаборатория е използвала нещо близко до RSI, за да ускори разработването на модел, показващ резултати над очакванията за мащаба си — но сценарият, който поражда разговори за края на света, е този, при който хората вече въобще не участват в процеса.

Или, както се казва в документа на Anthropic: „Рисковете ще нараснат, когато системите с ИИ автоматизират значително научноизследователската и развойната дейност в сферата на ИИ, ако например те ускорят напредъка на технологията отвъд нашата способност да оценяваме и обезопасяваме новите модели.“

Проспектът неколкократно подчертава, че RSI може да доведе до модели с ИИ, които се развиват по-бързо от защитните механизми на компанията, както и че тя може дори да не осъзнае, че е загубила тази надпревара, докато не стане твърде късно. Anthropic не отговори веднага на запитването за коментар.

В него също така се посочват конкретни детайли за това какво би могло да се случи след това. „С нарастването на автономността на системите с ИИ и способността им да предприемат действия с важни последици при по-малък човешки надзор“, се казва в проспекта, „съществува риск такива системи, било поради несъответствие с човешките намерения, грешки при определянето на целите или поведения за самосъхранение, да предприемат вредни действия самостоятелно и в широк мащаб без човешка намеса.“ Това вече навлиза в територията на Skynet.

Като стана дума за роботи, Anthropic изразява загриженост и относно тях. „Когато нашите модели управляват физическо оборудване“, се посочва в документацията, „грешки, отклоняващо се поведение, враждебни манипулации или злоупотреби биха могли да доведат до телесни повреди, материални щети, повреда на скъпоструващо оборудване или експериментални материали, или изпускане на опасни вещества, като тези последици могат да бъдат незабавни и необратими.“

Бихте могли да помислите, предвид очевидно екзистенциалните залози, че ще бъде отделено сериозно внимание на въпроса дали RSI изобщо трябва да се преследва, камо ли да се насърчава. В индустрия, толкова конкурентна като разработката на авангарден ИИ обаче, това се е превърнало във fait accompli. Ето как Anthropic описва същия този процес на друго място в проспекта, този път в раздел за „основните предимства“ на стартъпа:

„Ние наричаме тази рекурсивна динамика „затваряне на цикъла“, се казва в проспекта, „и вярваме, че тя е едно от най-значимите структурни предимства при авангардния ИИ.“

Неуспехът да се „затвори цикълът“, заявява по-късно Anthropic, може да доведе до „все по-голямо изоставане, тъй като конкурентите непрекъснато използват ИИ, за да надграждат собствените си възможности за разработка.“ С други думи, същите системи, които пораждат всички тези екзистенциални опасения, са тези, които Anthropic смята за критично важни за своя успех.

Всяка компания за ИИ се сблъсква със същото това напрежение. Когато бившият изследовател на Anthropic Джейкъб Коксън предизвика огромен отзвук с шумно оповестената си оставка, той постави ограничаването на RSI начело на списъка си с препоръки към индустрията. Служители в Google DeepMind и други организации стигнаха до сходни заключения. В Конгреса има множество законопроекти, включително един, съвносител на който е Бърни Сандърс, предлагащи забрана на RSI. В същото време това са търговски дружества с цел печалба, а залогът е за трилиони долари.

Това е трудна за балансиране динамика. Рекурсивното самоусъвършенстване може да се превърне в неуправляем влак, който да унищожи човечеството. Но дотогава просто вижте колко бързо може да се движи.