Инженерите от Anthropic направиха claude.ai и десктоп приложението Claude приблизително три пъти по-бързи по време на двуседмичен спринт през август, като самият Claude откри тесните места и написа корекциите. Екипът обедини повече от 3 000 промени и съобщава, че нито една от тях не е причинила инцидент, засегнал клиентите, нито е наложила връщане към предишна версия.
Инженерите управляваха целия процес от един канал в Slack, използвайки вътрешен изследователски модел, приблизително сравним с Opus 5.5, чрез бета версията Claude Tag. Claude създаде бенчмаркове, отвори заявки за изтегляне (pull requests) и следеше всяко внедряване. Хората поставяха цели, вземаха субективни решения и одобряваха всяка промяна. В един момент едновременно работеха над 150 нишки.
Claude работеше най-добре, когато имаше показател, който трябваше да подобри. Измерването на реалното време за изпълнение е твърде нестабилно за прецизен контрол на кода, затова Claude премина към детерминистични показатели, като например брой CPU инструкции. При един критичен път намаляването на инструкциите с 48% съкрати реалното време с 78%. След това CI проверка отхвърляше всяка промяна, която увеличаваше отново броя им, така че постигнатият успех бе запазен.
Някои от забавянията бяха скрити на неочаквани места. Осветяването на синтаксиса на завършен кодов блок можеше да замрази страницата за около секунда, а причината се оказаха тиретата (em dashes). Всеки символ извън Latin-1, като тире или извита кавичка, караше V8 (JavaScript енджина зад Chrome) да съхранява целия отговор като UTF-16 и да пренасочва регулярните изрази за синтактично осветяване към по-бавен път за изпълнение. Промяна от едва двадесет реда коригира този проблем.
Екипът държа рисковите промени зад кратковременни флагове за функционалности (feature flags) и първоначално пусна най-рисковите от тях за служители. Инженерите добавиха близо 200 флага за двете седмици и премахнаха повече от половината до края на спринта. Айзък Г., един от инженерите зад спринта, споделя: „Дори преди шест месеца никой не би могъл да ме убеди, че това е възможно.“
- Anthropic