Модели решений теперь обучают дома: одна видеокарта и три часа

Появился проект Jeff: три небольшие модели решений, обученные на одной рабочей станции с видеокартой RTX PRO 6000. Младшая на 0,8 млрд параметров готовилась около двух часов, старшая на 2 млрд — три с половиной. Никакого облака. На пяти публичных тестах результат 83,1% против 83,0% у платного облачного аналога того же класса. Код открыт по MIT, веса по Apache 2.0.

Что такое модель решений

Обычная языковая модель пишет ответ по кусочкам и тратит на это время и деньги. Модель решений устроена проще: получает текст и список допустимых вариантов, делает один проход и возвращает выбор с вероятностью.

Задачи у неё соответствующие. Это письмо про оплату или про доставку. Отзыв положительный или отрицательный. Обращение срочное или нет. Подходит ли текст под правила. Всё, где ответ выбирается из заранее известного набора, а не сочиняется.

Класс появился недавно, и первые такие модели были облачными и платными. Главная новость здесь в том, что за считаные недели появился воспроизводимый вариант на домашнем железе.

Что показывают цифры

Занятная деталь: на игровых задачах младшая модель на 0,8 млрд обошла старшую на 2 млрд. Больше не всегда лучше, особенно когда задача требует быстрого выбора, а не размышления.

Что здесь действительно интересно

Не сами цифры, а скорость повторения. Между появлением платного облачного сервиса и открытым аналогом, обученным за вечер на одной видеокарте, прошло меньше месяца.

Данные для обучения тоже синтетические: их сгенерировала другая открытая модель. То есть цепочка целиком собирается из доступных частей, без закрытых датасетов и без аренды кластера.

Практический вывод для бизнеса неприятен для продавцов таких сервисов. Узкая задача, решаемая маленькой моделью, плохо поддаётся монетизации: слишком легко воспроизвести у себя.

Где это применимо

Смысл появляется там, где решений много, они однотипные и цена каждого должна быть близка к нулю.

• Разбор входящих обращений по темам до того, как их увидит человек.
• Фильтры содержимого: пропустить, отправить на проверку, отклонить.
• Маршрутизация внутри агента: каким инструментом воспользоваться на этом шаге.
• Разметка больших выгрузок, где строк десятки тысяч.
• Работа с данными, которые нельзя отправлять наружу: всё считается на своей машине.

Последний пункт часто решающий. Медицинские, кадровые и юридические данные проще обработать локально, чем согласовывать передачу во внешний сервис.

Чего такая модель не умеет

Ограничение прямо следует из устройства: варианты ответа должны быть известны заранее.

Всё, где нужен текст (письмо, описание товара, разбор договора, код), остаётся за обычными моделями. Сложные суждения с оговорками тоже: модель решений отвечает «да с вероятностью 0,82», а не «зависит от того, что вы понимаете под сроком поставки».

Разумная схема — сочетание. Маленькая модель отсеивает поток и решает типовое, большая работает там, где нужен развёрнутый ответ.

Что делать, если своей видеокарты нет

Локальный запуск требует железа и рук: поставить, обновлять, следить за нагрузкой. Для одного сценария это оправдано, для пяти разных — уже работа системного администратора.

Обычный путь — начать с готового сервиса и посмотреть на цифры. В tenzor такой сценарий собирается в чате: лёгкая модель разбирает поток и делает простые шаги, сильная включается там, где нужен развёрнутый ответ, а фактическое списание по каждому шагу видно в истории расходов. Когда станет понятно, что один конкретный шаг съедает основную часть счёта, его и есть смысл переносить на свою машину.

Что дальше почитать

• Модели решений запускаются локально: Ollaya вместо Ollama — как запустить такие модели, если обучать своё не нужно.
• Нейросети в телефоне без интернета — другой сценарий работы без облака.
• Как выбрать нейросеть под задачу и бюджет — как считать стоимость результата.