Claude Sonnet 5.5: что нового в модели Anthropic

28 сентября Anthropic выпустила Claude Sonnet 5.5, вторую модель поколения 5.5 после Opus 5.5. Она сменила Sonnet 5 при той же цене за токен, но работает на 30% быстрее и на ту же задачу тратит меньше токенов. Главный скачок в коде: на агентном бенчмарке Terminal-Bench 4.0 результат вырос с 10,3% до 70,6%, и там Sonnet 5.5 даже обходит Opus 5.5. Ниже пересказываем анонс по-русски и показываем, как новая модель собрала сайт в нашем собственном тесте.

Главное за минуту

• Почти уровень Opus 5.5. На тесте реальной офисной работы Sonnet 5.5 отстаёт от флагмана на два пункта, в работе за компьютером и чтении графиков на два-три.
• Быстрее и дешевле на практике. Прайс прежний, 2 $ за миллион токенов на входе и 10 $ на выходе. Но модель отвечает на 30% быстрее и выполняет задачу меньшим числом шагов, поэтому обычная работа выходит до 30% дешевле.
• Пишет яснее. Тестировщики отметили более простой слог и вкус в оформлении интерфейсов и слайдов.
• Haiku 5.5 на подходе. Лёгкую модель поколения Anthropic обещает в ближайшие недели.

Бенчмарки Claude Sonnet 5.5

По оценкам Anthropic, Sonnet 5.5 прибавила во всех областях, местами очень сильно. Самые заметные цифры на графике: Sonnet 5.5 против прошлой Sonnet 5 и флагмана Opus 5.5.

Anthropic сама оговаривается, что бенчмарки показывают только часть картины. На сложной открытой работе, где нужно долго держать задачу в голове и принимать взвешенные решения, Opus 5.5 по-прежнему заметно сильнее. Ещё один забавный рекорд: Sonnet 5.5 стала первой Sonnet, которая прошла Pokémon Red, глядя только на скриншоты.

Код: быстрее разбирается в проекте

В коде прирост особенно заметен. Тестировщикам понравилось, как быстро модель вникает в чужой проект: сначала намечает, что менять, и держит правки небольшими, чтобы их было легко проверить. Инструменты она чаще вызывает пачкой, поэтому шагов и денег на задачу уходит меньше.

В Epic Games модель проверили на аудите архитектуры и разборе потоков данных. По словам операционного директора компании, она держала планку старшей модели, работала с десятками тысяч строк кода игровых систем и справлялась с многочасовыми задачами при менее подробных подсказках.

Документы, слайды и тексты

На тесте GDPval-AA (реальные задачи из 44 профессий и девяти отраслей) Sonnet 5.5 почти вровень с Opus 5.5 и примерно на 400 пунктов выше Sonnet 5. В одном внутреннем тесте Anthropic дала ей квартальную отчётность компании, стенограммы звонков с инвесторами и шаблон презентации, а попросила обзор на 10 слайдов. Два эксперта сочли первый черновик готовым к отправке.

В Slack модель заменили без переделки промптов. Почти во всех внутренних проверках она оказалась лучше Sonnet 5, выполняла задачи за меньшее число шагов и писала примерно на 14% короче.

Цена и скорость

Цена за токен у Sonnet 5.5 такая же, как у Sonnet 5, и вдвое ниже, чем у Opus 5.5.

Экономия получается за счёт того, что модель тратит меньше токенов на ту же работу и отвечает на 30% быстрее. По данным Anthropic, на ряде тестов Sonnet 5.5 на низкой или средней глубине рассуждений обходит лучший результат Sonnet 5 примерно за десятую часть его стоимости.

Наш тест: сайт на Sonnet 5.5 и Opus 5.5

До сегодняшнего дня сайты в режиме «Профи» у нас собирала Opus 5.5. Мы дали обеим моделям одно и то же сложное ТЗ: 3D-симулятор того, как звук расходится по комнате, с таблицей материалов, графиками затухания и пресетами. Сборка шла тем же движком, что работает у пользователей.

Sonnet 5.5 уложилась в 7,4 минуты и 155 ₽, Opus 5.5 потратил 9,4 минуты и около 290 ₽. Оба сайта заработали с первого раза: все файлы на месте, ошибок в браузере нет. Оформление у Opus вышло чуть богаче, но разница небольшая, а цена отличается вдвое. Поэтому с 28 сентября режим «Профи» собирает сайты на Sonnet 5.5. Как это устроено, разобрано в инструкции «Как сделать сайт нейросетью».

Безопасность

По автоматическому аудиту поведения (около 1850 сценариев) Sonnet 5.5 не хуже Sonnet 5 по большинству показателей. В кибербезопасности она дотягивает до уровня Opus 5, поэтому стала первой Sonnet с такими же защитными ограничениями, как у старших моделей. Anthropic уточняет, что они касаются узкого круга опасных запросов, а обычная разработка их не замечает.

Как попробовать Claude Sonnet 5.5 в России

Оплатить claude.ai российской картой нельзя. В tenzor Sonnet 5.5 доступна в чате уже сейчас, без VPN и с оплатой в рублях: выберите модель Claude Sonnet 5.5 и пишите на русском. В чате она заменила Sonnet 5, старые переписки сохранились. Подробнее о модели на странице Claude Sonnet 5.5, сравнение цен всех моделей есть в разделе «Модели для чата».

Частые вопросы