Модели решений запускаются локально: Ollaya вместо Ollama для классификации

Вышел Ollaya — открытый инструмент командной строки, который запускает на вашем компьютере модели решений. Такая модель не пишет текст, а выбирает один из заданных вариантов и сообщает, насколько уверена. Ответ приходит за 8-10 миллисекунд на домашней видеокарте против 236-276 миллисекунд у облачных сервисов того же класса. Устанавливается одной командой, лицензия Apache-2.0.

Что такое модель решений

Привычная языковая модель пишет ответ по кусочкам: предсказала слово, посмотрела на написанное, предсказала следующее. Отсюда эффект печатающей машинки и задержка, которая растёт вместе с длиной ответа.

Модель решений устроена иначе. Она получает текст и список допустимых вариантов, делает один проход и возвращает выбор с вероятностью. Ничего не генерируется, поэтому нет и очереди из токенов.

Задачи у неё соответствующие: это письмо про оплату или про доставку, отзыв положительный или отрицательный, обращение срочное или нет, подходит ли текст под правила. То есть вся та рутина, которую сегодня отдают большой модели просто потому, что она под рукой.

Чем Ollaya отличается от Ollama

Название выбрано не случайно: Ollama давно делает то же самое для языковых моделей. Разница в классе моделей и в том, что из этого следует.

Общее у них главное: данные не уходят с вашей машины и вы не платите за токены.

Что внутри

В комплекте семь моделей с открытыми весами под разные роли: самая быстрая и многоязычная, самая точная, классификатор без обучения под конкретные классы, классификатор с инструкциями, отдельная модель для проверки безопасности содержимого, модель с калиброванной уверенностью и модель с контекстом до 8 тысяч токенов.

Ставится на macOS, Windows, Linux и в Docker, работает на процессоре и на видеокартах NVIDIA. Запуск выглядит как одна команда вида ollaya run laya. Заявлена совместимость с SDK облачного сервиса того же класса без правок кода, то есть переехать с облака на свою машину можно без переписывания интеграции.

Где такое реально нужно

Понятная область: массовые однотипные решения, где важна скорость и цена, а не красота формулировок.

• Разбор входящих обращений по темам до того, как их увидит человек.
• Фильтры содержимого: пропускать, отправлять на проверку, отклонять.
• Маршрутизация внутри агента, когда надо быстро решить, какой инструмент взять.
• Разметка больших выгрузок, где строк десятки тысяч и каждая требует одного решения.

Экономия получается двойная. Локальный запуск снимает плату за операцию, а замена большой модели на маленькую снижает задержку с секунд до миллисекунд.

Что здесь не сработает

Ограничение прямо следует из устройства. Варианты ответа должны быть известны заранее.

Всё, где нужен сам текст (письмо, описание товара, разбор договора, код), остаётся за обычными моделями. Сложные суждения с оговорками тоже: модель решений отвечает «да с вероятностью 0,82», а не «зависит от того, что вы имеете в виду под сроком».

Разумная схема — сочетание. Быстрая модель отсеивает поток и решает типовое, большая работает только там, где нужен развёрнутый ответ. Ровно так и устроены агентные сценарии в tenzor: дешёвые шаги делает лёгкая модель, тяжёлые — сильная, и цена ответа складывается из фактических шагов.

Что дальше почитать

• Токены дешевеют в сотни раз, а счёт не падает — почему дешёвая модель на рутине экономит больше, чем смена тарифа.
• Модели для чата — что доступно сейчас и по какой цене.