Токены дешевеют в сотни раз, а счёт за нейросети не падает. Почему

Стоимость обработки одного токена за последний год упала примерно на два с половиной порядка, то есть в сотни раз. Разбор с цифрами разошёлся на этой неделе по отраслевым блогам. Парадокс в том, что счёт за нейросети у многих при этом не уменьшился, а вырос. Причина не в жадности сервисов: изменилось то, сколько токенов уходит на одну задачу.

За счёт чего падает цена токена

Здесь складываются несколько независимых вещей, и каждая даёт свой множитель.

• Железо. Производительность на ватт у ускорителей примерно удваивается каждые два года.
• Движки инференса. Софт, который гоняет модель на этом железе, прибавляет от 10 до 50% в год на том же оборудовании.
• Архитектура моделей. Схемы со смесью экспертов и модели вроде Mamba снижают требования к памяти в пять раз и больше, а память — главное узкое место при обслуживании многих клиентов.
• Специализация. Узкие модели под одну операцию стоят копейки: у таких сервисов вход идёт по несколько центов за миллион токенов, а выход бывает бесплатным.

Ни один из пунктов сам по себе революции не делает. Вместе они дают ту самую разницу в сотни раз.

Почему счёт при этом растёт

Токен подешевел, а задача потяжелела. Год назад запрос в чат был запросом в чат. Сегодня за одним вашим сообщением стоит рассуждение модели, поиск по сети, чтение приложенного файла, несколько шагов агента с проверками.

Простая арифметика: если токен подешевел в сто раз, а токенов на задачу стало нужно в триста раз больше, счёт вырастет втрое. Именно это и происходит с агентными сценариями.

Почему в рублях падение не такое заметное

Цены провайдеров указаны в долларах, а платите вы в рублях. Между этими двумя числами стоит курс, и он живёт своей жизнью. Бывали месяцы, когда модель дешевела на 30%, а рублёвая цена оставалась на месте.

Вторая причина в том, что дешевеет не всё сразу. Свежий флагман выходит дорогим, дешевеет он через несколько месяцев, когда его догоняют. Если вы всегда берёте лучшее из доступного, вы всегда платите по верхней границе рынка. Падение цен достаётся тем, кто сидит на моделях прошлого поколения.

Что будет, когда токен станет дешевле обычной операции

Главная мысль исходного разбора смотрит дальше. Как только один вызов модели станет дешевле запуска привычной утилиты вроде поиска по тексту, нейросети переедут внутрь инфраструктуры. Не как отдельная кнопка «спросить ИИ», а как рядовой шаг обработки данных, о котором никто не думает.

Тогда конкуренция между продуктами сместится. Сам факт наличия модели ценностью быть перестанет, потому что она будет у всех и почти даром. Разница останется в интерфейсе, в качестве данных и в том, насколько надёжно всё это работает изо дня в день.

Как считать свои расходы уже сейчас

Три привычки, которые экономят больше, чем выбор тарифа.

Первое: смотрите историю расходов по задачам, а не общую сумму за месяц. Почти всегда обнаруживается один сценарий, который съедает половину бюджета, и он же чаще всего переносится на модель попроще.

Второе: не ставьте флагманскую модель на рутину. Классификация письма, короткое резюме, переформулировка абзаца отлично делаются дешёвыми моделями, а разницы в результате вы не увидите.

Третье: следите за длиной контекста. Пятидесятистраничный документ, который едет в модель с каждым сообщением диалога, оплачивается каждый раз заново. Это самая частая причина неожиданного счёта.

Что дальше почитать

• Токены и кредиты: как устроена оплата — почему счёт идёт за токены, а не за сообщения.
• Что такое кеш промпта — как не платить дважды за один и тот же контекст.