Моделът Claude Haiku 5.5 на Anthropic, проектиран за бързи, повтарящи се работни товари и задачи, чувствителни към скоростта, вече е по-добър в откриването на уязвимости и писането на експлойти от своя предшественик. Компанията му е предоставила по-строги защитни механизми за киберсигурност от Haiku 4.5, малко по-леки от тези при по-напредналите му модели, чиито нападателни умения остават значително напред.
Възможности за киберсигурност и защитни механизми
Anthropic измери нападателните способности на модела с изключени защитни механизми за киберсигурност. В тест, включващ известни дефекти в енджина V8 на Chrome, Haiku 5.5 постигна произволно изпълнение на код в четири от 410 изпълнения.
В отделна оценка на многостепенни кибероперации предпремиерната версия завърши 3,3% от предизвикателствата, в сравнение с 46,1% за Sonnet 5.5 и 67,6% за Opus 5.5.
Резултатите не отразяват непременно това, което потребителите могат да направят с моделите при общи защитни механизми за достъп.
Claude Haiku 5.5 превъзхожда Claude Sonnet 5 в ExploitGym, но остава значително под останалите модели от семейството Claude 5.5. (Източник: Anthropic)
Anthropic заявява, че защитните механизми за киберсигурност на Haiku 5.5 са по-ограничителни от тези на Haiku 4.5, но малко по-малко ограничителни от приложените към други скорошни модели. Те позволяват по-широк набор от защитни задачи спрямо защитите на Sonnet 5.5, докато все още блокират тестове за проникване (penetration testing) и други техники, които е по-вероятно да бъдат използвани от атакуващи. Квалифицирани специалисти по сигурност могат да кандидатстват за намалени ограничения чрез програмата Cyber Verification Program на компанията.
Резултати от оценката на безопасността
Компанията тества как Haiku 5.5 се справя със вредни заявки, безвредни въпроси по чувствителни теми и разговори, в които симулиран потребител постепенно насочва модела към вреден резултат. Оценките обхващат оръжия, екстремистка дейност, проследяване и наблюдение, детска безопасност, психично здраве и интегритет на изборите.
При приложен почти окончателен подканващ системно-оперативен текст (system prompt) на производството на Claude.ai, Haiku 5.5 постигна 99,71% процент на безвредни отговори при вредни заявки. Той неправилно отказа 0,82% от безвредните заявки, което е спад от 3,05% при Haiku 4.5.
В по-дълги разговори Haiku 5.5 подобри представянето си при тестове, включващи операции за влияние, проследяване и наблюдение. Производителността намаля при сценарии с оръжия, когато моделът беше тестван през API без системна подкана.
Оценките изключват допълнителни производствени защити, като сондажи в реално време и мониторинг. Anthropic установи оставащи слабости в чувствителни разговори, включително такива, свързани със самонараняване и хранителни разстройства, и съветва API разработчиците да добавят свои собствени защитни механизми.
Устойчивост на злоупотреба и инжектиране на подкани (prompt injection)
Отговорите на модела на злонамерени заявки при писане на код или работа с компютър също бяха оценени.
В тестове с Claude Code моделът отказа 84,3% от злонамерените заявки, в сравнение с 66,6% при Haiku 4.5. Те включваха заявки за създаване на зловреден код, поддръжка на DDoS атаки и изграждане на софтуер за наблюдение без съгласие. Той също така подпомогна повече разрешени задачи по сигурността, като анализ на резултати от тестове за проникване.
В тестове за използване на компютър, обхващащи наблюдение, неоторизирано събиране на данни и други вредни дейности, Haiku 5.5 отказа около 82,6% от заявките, в сравнение с 58,9% за неговия предшественик. Процентът му на отказ беше и по-висок от този на Sonnet 5.5 и Opus 5.5 в тази оценка.
Anthropic казва, че Haiku 5.5 е най-устойчивият му Haiku модел досега срещу инжектиране на подкани (prompt injection). Тези атаки крият злонамерени инструкции в материали, които изкуственият интелект среща, като имейл или уеб страница, за да го накарат да действа срещу желанията на потребителя.
При тестове срещу адаптивни атакуващи в среди за кодиране и използване на компютър, неговата устойчивост до голяма степен съвпадаше с тази на водещите (frontier) модели на Anthropic. Той обаче остана по-малко устойчив от Sonnet 5.5 и Opus 5.5 в отделен бенчмарк Gray Swan, където по-голямата част от оставащата му уязвимост беше в графичното използване на компютър.
Повечето от тези тестове изключваха допълнителни производствени защити. Оценките на адаптивните атаки отчитат резултати както със, така и без активирани сонди за инжектиране на подкани.
Цени и наличност
Haiku 5.5 струва по-малко от Haiku 4.5, като най-големите спестявания са при по-кратки заявки. Цените на токените за въвеждане и извеждане са с 90% по-ниски за подкани до 100 000 токена, което според Anthropic покрива повечето заявки към Haiku 4.5.
Регулируема настройка за усилие позволява на потребителите да настройват модела за цена или интелигентност. Той може също да служи като подагент за кодиране за Opus 5.5 и Sonnet 5.5.
„Много сме впечатлени от Claude Haiku 5.5, особено от неговата скорость. Преведохме го през нашия набор за оценка на AI Teammates, нашия AI агент продукт, обхващащ случаи на употреба като триаж на грешки, настройка на проекти и търсене в големи портфолиа за извеждане на високорискова или просрочена работа. В сравнение с модела, който използваме днес, видяхме над 30% намаление на латентността при завършване на задачи и до 2.5x по-бърз извод на ход на агент. Това е забележимо по-бързо изживяване“, каза Аарон Вин, главен софтуерен инженер в Asana.
Моделът е достъпен на всички платформи, включително Amazon Web Services, Google Cloud и Microsoft Azure. Разработчиците могат да го достъпят на платформата Claude, използвайки идентификатора на модела claude-haiku-5-5.
Anthropic намалява наполовина цената за четене от кеша за Sonnet 5.5, намалявайки разходите за повторно използване на вече обработени данни. Компанията казва, че промяната прави повечето задачи, изпълнявани от AI агенти, с около 20% по-евтини.
Anthropic също добавя бета поддръжка за използване на компютър и браузър към своите комплекти за разработка на софтуер (SDK) за Python и TypeScript.