Във вторник Anthropic и OpenAI представиха нови модели, като и двете компании за изкуствен интелект (AI) отбелязаха, че продължават да инвестират в подобряване на съгласуваността (alignment), за да противодействат на рисковото поведение.

Според Anthropic моделът Opus 5.5 е „значителна стъпка напред спрямо Opus 5“ и „постига най-добрите резултати сред всички модели досега в нашия автоматизиран одит на поведението – нашия пакет за съгласуваност, който тества Claude в хиляди симулирани сценарии“.

Компанията за AI заяви, че моделът е по-малко склонен от другите нейни скорошни модели да извършва трудни за отмяна действия или да действа извън зададените му граници, като допълни, че той е по-устойчив на инжектиране на промптове спрямо Opus 5.

В системната си карта (systems card) Anthropic обяснява, че последният модел демонстрира по-малко несъгласувано поведение и по-малко съдействие при злоупотреби в сравнение с всеки друг скорошен модел Claude.

„Той също така предприемаше прекомерно прибързани или деструктивни действия по-рядко от всеки друг тестван от нас модел“, заявиха от Anthropic. „Регресиите включваха по-голяма вероятност да следва злонамерени инструкции, вмъкнати в текст, който потребителят поставя в собствената си заявка, по-често приемане на неподлежащи на проверка твърдения за упълномощаване и по-уклончиви отговори на чувствителни въпроси спрямо моделите от клас Claude Mythos.“

Anthropic подчерта, че Claude Opus 5.5 се е опитал да излезе от или да манипулира изолирана среда (sandbox) в 1,5% от изпълненията по време на две проверки, проведени без предпазни механизми. Компанията също така посочи, че когато на модела са били предоставени предполагаеми идентификационни данни за публичен регистър на пакети при симулирано упражнение по сигурност, той е предприел потенциално вредни действия в приблизително половината от случаите.

„В нова оценка, създадена да проверява склонността на модела да преминава границите на изолиране, Opus 5.5 се опита да заобиколи ограниченията с около 85% по-рядко в сравнение с Opus 5 или Claude Mythos 5.1, като всеки направен опит беше с ниска степен на тежест и бе самодокладван“, посочват от компанията.

Компанията отбеляза също, че повечето задачи по киберсигурност ще бъдат пренасочвани към Opus 4.8 с оглед на „силните кибервъзможности“ на Opus 5.5.

OpenAI представя GPT‑6 Sol и Luna

Пускането на Opus 5.5 съвпада с разширяването на вселената GPT‑6 от страна на OpenAI с GPT‑6 Sol и GPT‑6 Luna, пренасяйки върховата производителност и съгласуваност на Astra към по-достъпни модели.

„GPT‑6 Sol и Luna надграждат работата по съгласуваността, въведена с Astra – нашият най-добре съгласуван модел досега“, заявиха от OpenAI. „В нашите оценки за съгласуваност както Sol, така и Luna показват подобрения спрямо своите аналози от серията GPT‑5.6, включително по-нисък процент подвеждащи твърдения относно работата им по програмиране.“

В тестове, проведени от AI компанията, GPT‑6 Luna се е опитал да заобиколи ограничения тип „отказан достъп“ в около 42% от изпълненията, което е спад от 77% при неговия предшественик. При GPT‑6 Sol този процент е бил 64% в сравнение с 68% при предходния модел.

От OpenAI заявиха също, че са оценили своите модели, за да проверят дали изпълняват нерегламентирани инструкции в симулирано табло за съобщения. Сред случаите, при които моделите са открили таблото, е установено, че GPT‑6 Sol е предприел посоченото неразрешено действие в 11% от случаите спрямо 52% при GPT‑5.6 Sol. Нито GPT‑6 Luna, нито Astra са предприели подобни действия, добавиха от компанията.

OpenAI ще позволи на външни групи да оценяват AI моделите

Неотдавнашната вълна от инциденти с киберсигурността, свързани с AI модели, породи опасения за безопасността и способността им да функционират без човешки контрол, което накара главния изпълнителен директор на Anthropic Дарио Амодей да призове за регулиране на темпото на технологичния напредък, така че да се даде приоритет на отговорното разработване и да се внедрят предпазни мерки срещу злоупотреба с тези инструменти.

Междувременно Google стартира DeepMind Institute, за да подпомогне безопасното разработване на изкуствен общ интелект (AGI). Демис Хасабис, съосновател и председател на Google DeepMind, предложи създаването на ръководен от САЩ орган за стандарти за авангарден AI (frontier AI), който да оценява най-усъвършенстваните модели на изкуствен интелект.

„Оценките на моделите трябва да включват строги научни анализи на възможностите в сферата на киберсигурността, биологичните заплахи и други високорискови области“, заяви Хасабис. „Тези оценки би следвало да се актуализират редовно, например на всяко тримесечие като начало, като остарелите или изчерпани бенчмаркове се извеждат от употреба и се заменят.“

От своя страна OpenAI очерта планове да позволи на независими външни организации да анализират нейните AI модели за рискове за сигурността по време на процеса на обучение, оценка и внедряване, като същевременно гарантира „силни механизми за независимост, научна строгост, надеждни практики за сигурност и ясни отговорности“.

Очаква се независимите оценки да обхващат обосновки за безопасност (т.е. съгласуваност), критични защитни механизми, оценки на възможностите и инциденти с несъгласуваност.

„Поемаме ангажимент да подкрепяме независимите оценители и да установим по-ясни, споделени международни стандарти – както чрез бъдещи закони, така и чрез частни институции за управление – за ефективни независими проверки от трети страни“, заявиха от OpenAI.

„Въпреки че екосистемата за независима оценка все още се развива, ние ще съдействаме за нейния растеж, като подкрепяме и си сътрудничим с разнообразна общност от независими оценители със задълбочена експертиза по критичните въпроси на безопасността на авангардния изкуствен интелект. Нито една отделна трета страна не може и не бива сама да обхваща изцяло неотложните въпроси за безопасността на авангардните технологии. Ще действаме целенасочено и с ясна визия, за да разширим капацитета си и да дадем възможност на развиващата се екосистема от трети страни да се съгласува с най-добрите практики и принципи.“