Sonnet 5.5 против GPT-6.1 Sol в рабочих задачах

Anthropic выпустила Claude Sonnet 5.5 28 сентября, OpenAI показала GPT-6.1 Sol на следующий день на DevDay. Цена за токен у обеих моделей одинаковая, контекстное окно отличается на какие-то проценты, а маркетинговые материалы обеих компаний звучат почти под копирку: быстрее, дешевле, надёжнее предшественника. Когда два конкурента выходят с разницей в сутки и одинаковым прайсом, это не повод для восторга — это повод открыть независимые бенчмарки и посмотреть, где эти модели расходятся на самом деле.

Близнецы по паспорту

Контекстное окно тоже почти не отличается:

Разница обнаруживается в деталях использования. Зато у Sol дешевле повторное обращение к кешированному контексту — это важно для агентных сценариев, где одна и та же история перечитывается десятки раз за сессию.

Бенчмарки, которые спорят сами с собой

Вот где начинается самое интересное. Один и тот же набор тестов на одной и той же паре моделей даёт прямо противоположные выводы в зависимости от того, при каком уровне «усилия» их сравнивать.

Разброс усиливается тем, что цена за решённую задачу на этих уровнях различается кратно. То есть ответ на вопрос «какая модель умнее» прямо зависит от того, сколько вы готовы заплатить за один ответ — универсального победителя тут нет, есть набор компромиссов.

Есть и предметные перекосы. Проще говоря: если вам важнее получить структурированный план действий — один фаворит, если важнее не услышать уверенно сказанную неправду — другой.

Практика расходится с таблицами

На живых задачах разрыв выглядит ещё более ситуативным. В одном из прикладных тестов оба инструмента довели задачу до рабочего результата, но Это классическая ситуация, когда «кто лучше» зависит от того, что вы цените больше: скорость первой рабочей версии или чистоту финального кода после доработки.

Стоит держать в голове и репутационный контекст. Буквально за неделю до выхода GPT-6.1 Sol вышла его предыдущая версия, которая получила заметно прохладный приём у части разработчиков: Это не означает, что GPT-6.1 Sol унаследовал те же проблемы — компания отчитывается о заметных улучшениях, — но быстрая смена версий сама по себе сигнал: индустрия выпускает модели быстрее, чем успевает их толком обкатать.

Что с этим делать на практике

Если вы выбираете модель для реальной работы, а не для коллекционирования бенчмарков, имеет смысл опираться на несколько простых принципов.

• Не верьте одной цифре. Любой отдельный бенчмарк — это срез под конкретную методику и конкретный уровень reasoning effort. Поменяйте настройку усилия — и лидер поменяется местами.
• Считайте стоимость задачи, а не токена. Одинаковый прайс за миллион токенов ничего не говорит о реальных расходах, если одна модель решает задачу за пять обращений, а другая — за пятнадцать.
• Проверяйте модель на своих данных. Разрыв в пользу той или иной модели сильно зависит от типа задачи — работа с документами, кодинг или агентные сценарии дают разные результаты.
• Учитывайте скорость релизного цикла. Модель, вышедшая неделю назад, могла не пройти такую же обкатку, как та, что держится на рынке месяцами.

Сравнивать такие модели по одному скриншоту с бенчмарками — заведомо проигрышная стратегия. Разница между Sonnet 5.5 и GPT-6.1 Sol не в том, какая из них «лучше» в абсолютном смысле, а в том, какую цену вы готовы платить за какой тип ошибок и какую скорость готовы разменять на аккуратность результата.

Вместо вывода

Ни одна из двух моделей не выигрывает по всем фронтам, и это нормально: индустрия давно перешла в фазу, где прогресс измеряется десятыми долями процента на отдельных бенчмарках, а не революционными скачками. Прежде чем переключать продакшен-пайплайн на новую модель, стоит прогнать её на собственных задачах и своих критериях качества — благо обе модели, Claude Sonnet 5.5 и GPT-6.1 Sol, а также множество других современных нейросетей для текста, изображений и видео, доступны в GEMERA AI через Telegram-бота и веб-кабинет. Можно без лишних сложностей сравнить их на своих реальных сценариях и решить, какая действительно подходит именно вам.