Моделите Muse Wonder и Muse Wonder Full на Meta са създадени за ИИ агенти, които изпълняват задачи като изготвяне на застрахователни искове, преглед на договори за наем и разработване на софтуер. Моделите съчетават анализ на документи и използване на инструменти със способността да запазват релевантни детайли в хода на разговорите и да преодоляват препятствия по пътя към целта на потребителя.
Предназначени за търговска и научноизследователска употреба, те поддържат писане, разсъждаване, програмиране, планиране и проучвания. Те могат да обработват текст, изображения, видео и аудио, както и да генерират текстови отговори. Приложенията им включват подпомагане на потребителите при тълкуването на специализирана информация и подготовка на чернови за преглед.
Безопасност и съгласуваност
Агентите, действащи от името на потребител, могат да управляват съобщения, календари и поверителни документи. Meta е обучила моделите да избягват споделянето на лична информация без разрешение и да отказват заявки, подпомагащи вредоносни действия. Моделите подпомагат защитната дейност в сферата на киберсигурността, като например откриване на дефекти в програмния код.
„Muse Wonder е най-съгласуваният ни модел до момента, а съгласуваността е от ключово значение за начина, по който изграждаме персонален суперинтелект. Пълен доклад с допълнителни оценки на безопасността ще бъде наличен скоро“, заявиха от Meta.
Картата на модела (model card) оценява киберсигурността, химическата и биологичната злоупотреба, както и риска хората да загубят контрол над ИИ системите. Meta не можа да изключи прага на висок риск за химическа и биологична злоупотреба без защитни мерки. С въведените защити компанията оценява остатъчния риск като умерен или по-нисък във всички тези области.
Бенчмарк за отказ при злоупотреба в киберпространството (Източник: Meta)
Компанията признава неточни или предубедени отговори, грешки при многоетапни разсъждения и слабости в пространственото разбиране. Производителността може да варира според езика и конфигурацията на внедряване. Компанията препоръчва потвърждение от човек преди предприемането на необратими действия.
Памет и довеждане докрай на задачите
Задачите, които се развиват в рамките на няколко разговора, изискват агентът да следи по-ранните инструкции и решения. Компанията адресира това чрез Active Memory, която пренася контекста между разговорите и извлича подробности, когато те станат релевантни.
Active Focus се отнася до това как агентът продължава да работи, когато срещне трудности. Моделите могат да изпробват други подходи, да се възстановяват от грешки и да се адаптират към нова информация. Те са проектирани да искат пояснения и да се консултират с потребителите преди предприемане на важни действия.
Компанията тества това поведение чрез FocusBench, който проверява постоянството в променяща се среда, и SWE-Marathon, който оценява работата по дългосрочни софтуерни проекти.
Професионална работа и програмиране
Оценките на Meta обхващат правото, финансите и здравеопазването. Задачите включват изготвяне на правни документи от първични източници, проучване на финансова информация и отговаряне на професионални здравни въпроси. Тези тестове проверяват как моделите прилагат специализирани знания и следват инструкции. Разработването на софтуер разчита на няколко от тези способности.
„Програмирането обединява тези възможности. Създаването на софтуер изисква проследяване на изискванията, извършване на промени в кодовата база и преминаване през повтарящи се цикли на тестване и ревизия“, заявиха от компанията.
И двата модела са обучени в центъра за данни Prometheus на Meta върху продължителни задачи за подпомагане на работата по софтуерни проекти. Компанията отчита водещи резултати в бенчмарковете за лични и професионални агенти, памет и програмиране.
Компанията сравни Muse Wonder Full с Muse Spark 1.3 и установи, че Wonder Full се представя по-добре при тези задачи, отколкото би предвидила тенденцията при Spark. Компанията отдава това на по-мощен базов модел, изтъквайки, че получената гъвкавост има значение, когато агентите се сблъскат с комбинации от цели, инструменти и ограничения, които не са били предвидени по време на обучението.
Достъпност
- агентен ИИ
- киберсигурност
- Meta