Тест на закрытом коде реальных компаний: лучшая модель решает 39% задач

Когда выходит новая модель, в релизе обязательно есть цифра вроде «решает 74% задач по программированию». Цифра честная, но берётся она с публичных тестов — открытых репозиториев на GitHub, где и сам код, и обсуждения, и готовые решения давно лежат в интернете.

Лаборатория Specific Labs собрала бенчмарк Real-SWE, где всё наоборот: задачи взяты из закрытых рабочих репозиториев реальных компаний. Результаты получились вдвое скромнее.

Что именно проверяли

Компании передали лаборатории доступ к своему боевому коду. Задачи — те, над которыми работают их собственные инженеры: посчитать налог, поправить биллинг, перенести клиентов между сервисами. Дело не в сложности алгоритма, а в контексте.

Три вещи отличают такие задачи от учебных:

• Код нигде не опубликован. Модель не могла видеть ни его, ни готовых решений при обучении.
• У ошибки есть цена. Неправильно посчитанный счёт — это не упавший тест, а деньги и недовольные клиенты.
• У каждой компании свои порядки. Собственные соглашения об именовании, устоявшаяся архитектура, исторические причины писать именно так. Правка должна лечь в этот контекст.

Результаты

Порядок лидеров примерно совпадает с привычными рейтингами, а вот абсолютные значения — нет. На публичных тестах те же модели показывают 70–80%. Здесь лучший результат не дотягивает и до сорока.

Почему разрыв такой большой

Первая причина очевидная: публичный код мог попасть в обучение. Не обязательно дословно — достаточно, что модель видела тысячи похожих задач с обсуждениями и решениями. На незнакомом проекте эта фора исчезает.

Вторая причина интереснее. В учебной задаче условие сформулировано целиком: вот баг, вот тест, который должен позеленеть. В рабочей задаче половина условия не записана нигде. Почему тут сделано именно так. Какие места трогать нельзя. Что сломается в соседнем сервисе. Инженер компании это знает, а модель — нет, и спросить ей некого.

Что из этого следует на практике

Вывод довольно универсальный, и он касается не только кода.

• Проверяйте на своём. Единственный честный тест модели — ваша собственная типовая задача. Полчаса проверки скажут больше, чем любая таблица в релизе.
• Давайте контекст, который модель не может знать. Соглашения, ограничения, что трогать нельзя. Это ровно та половина условия, которой ей не хватает.
• Отличайте изолированные задачи от связанных. Написать функцию по описанию модель умеет хорошо. Вписать изменение в чужую систему — гораздо хуже.
• Считайте по итогу, а не по отдельному ответу. Если после модели правку приходится переделывать, экономии нет.

Чем полезен сам бенчмарк

Главная его ценность даже не в цифрах, а в постановке вопроса. Публичные тесты постепенно теряют смысл: их результаты попадают в обучение следующего поколения моделей, и рейтинг превращается в соревнование памяти. Тест на закрытых данных этой болезни не подвержен — до тех пор, пока данные остаются закрытыми.

Скорее всего, таких бенчмарков станет больше, и не только для кода. Проверять модели на том, чего они заведомо не видели, — единственный способ понять, что они действительно умеют.

Что дальше почитать

• SWE-2 от Cognition: модель для кода — про специализированные модели программирования.
• Модели для чата — что доступно и сколько стоит тысяча токенов.