Някои големи компании за изкуствен интелект изглежда смятат, че най-добрият начин да се предотврати превръщането на моделите в прекалено хаотични или твърде опасни е те да се държат заключени в лаборатории. Според тази логика, ако само избран кръг от хора има достъп до тях, те могат да причинят по-малко щети в реалния свят, докато изследователите се опитват да разберат на какво са способни.

Нейтън Ламбърт и Том Зик, двама корпоративни учени, вярват в обратното. Двойката основава организацията с нестопанска цел Trillium Labs, която ще работи по различни области на изследванията в сферата на AI — включително потенциално проблематични зони като рекурсивно самоусъвършенстване (RSI) и автономни агенти — по по-прозрачен начин. На практика това ще означава публикуване на подробности за експериментите, така че външни учени да могат да ги изучават и възпроизвеждат.

Ламбърт казва, че начинът, по който водещите лаборатории за AI пазят работата си в тайна, намалява способността на общността да анализира идеи и да допринася с нови подходи. Той вярва, че предоставянето на възможност на външни експерти да видят как се изграждат и настройват моделите може да бъде от решаващо значение за смекчаване на рисковете.

„През последните няколко хилядолетия човечеството е имало научния метод в своя арсенал като начин да намалява вредите и да изгражда по-добро бъдеще“, споделя Ламбърт пред WIRED. „Текущата затворена траектория на развитие на водещите AI модели ни връща крачка назад.“

Най-мощните модели в света, като тези на OpenAI и Anthropic, са достъпни само чрез приложение или програмен интерфейс (API). Често това идва за сметка на прозрачността относно начина, по който е изграден моделът и как се държи той.

Други компании, особено тези в Китай, предлагат сравнително мощни модели, които могат да бъдат изтеглени и изпълнявани на собствен хардуер от потребителя. Китайската компания Xiaomi например наскоро публикува данни в реално време за голям процес на обучение на един от своите модели. Изследователи от Станфорд също преминават през предварително обучение на AI модела Marin напълно открито.

В момента индустрията е въвлечена в спор коя стратегия е по-добра, най-вече поради това колко мощни са станали съвременните водещи модели. Те могат да автоматизират откриването на нови софтуерни уязвимости и автоматично да сондират и компрометират системи, а скорошни високопрофилни атаки предизвикаха още по-голямо внимание.

Поддръжниците на системата с ограничен достъп твърдят, че е от решаващо значение тази сила да остане в ръцете на доверен малцинствен кръг, докато тези в лагера на Ламбърт и Зик вярват, че споделеното разбиране за рисковете ни прави по-защитени.

Преди това Ламбърт е работил в Ai2, изследователска лаборатория, възприела необичайно открит подход към AI, включващ публикуване на подробности за данните и методите на обучение, използвани за изграждането на моделите, заедно със самите модели. Той е работил и в Hugging Face, поддържа популярен технически блог и е основател на American Truly Open Models — инициатива, насочена към насърчаване на американските компании да пускат повече отворени модели. Зик е работил в Харвардския университет и е помагал на Charles Schwab при разработването на политики за „отговорен AI“.

Двамата се запознават в Zoom по време на пандемията от COVID-19, когато и двамата са докторанти в UC Berkeley, работещи върху AI. те получават идеята за новата организация с нестопанска цел, след като виждат колко откъснати са станали индустриалните изследвания на AI от академичната работа; Ламбърт казва, че професорите и студентите често не са в състояние да възпроизведат работата, извършвана в лабораториите на големите компании, тъй като им липсват необходимите ресурси.

Зик казва, че Trillium Labs, която стартира днес, първоначално ще се фокусира върху фазата след обучението (post-training) — фина настройка на големи модели, след като са били изградени. Друга ключова област ще бъде RSI — процес за разработване на нови модели чрез принос от самия AI в изследванията. Перспективата за неограничен непрекъснат напредък, водещ до загуба на човешки контрол, тревожи много изследователи в сферата на AI. Въпросът привлече голямо внимание по-рано този месец, когато изследовател от Anthropic напусна компанията и предупреди, че RSI може да представлява екзистенциална заплаха за човечеството.

Организацията с нестопанска цел ще разгледа и как обучението с подкрепление (reinforcement learning), което възнаграждава модела за добри резултати и го наказва за лоши, може да подобри неговите възможности. Този подход направи агентите много по-способни, но и по-склонни да правят неочаквани неща. Те ще изучават как обучението с подкрепление оформя характера и поведението на AI моделите — метод, който може да създаде проблеми, когато даден модел стане например прекалено угоднически.

„За да разберете нещо като мащабирането на обучението с подкрепление във фазата след основното обучение, ви е необходим сериозен изчислителен ресурс и много внимателно експериментиране“, казва Зик. Тя отбелязва, че публикуването на подробности за това как работят процесите на обучение с подкрепление може да донесе изненадващи прозрения, докато външни изследователи анализират работата.

Лабораторията е събрала неназована сума от Schmidt Sciences, Halcyon Futures и други. Основателите казват, че имат за цел да наберат общо между 40 и 100 милиона долара и планират да похарчат 30 милиона долара за обучение през следващите 18 месеца.

„Аз съм голям привърженик на много по-голямата прозрачност в научноизследователската и развойна дейност от тази, която имаме в момента“, споделя пред WIRED Тим Фист, директор по политиките в областта на зараждащите се технологии в аналитичния център Institute for Progress.

Ламбърт и Зик в крайна сметка се надяват, че Trillium Labs ще допринесе с така необходимата нюансираност в по-широката дискусия за това как най-добре да се изгражда изкуствен интелект.

„Намираме се в ера на дискурса за AI, доминирана от няколко мирогледа“, казва Ламбърт. „Вярваме, че научният метод и внимателното измерване на последните събития са най-добрият начин да разберем новите поведения на AI моделите.“