Нейросети, которые работают прямо в телефоне без интернета

Европейская лаборатория Desert Ant Labs выложила 18 моделей, которые работают целиком на устройстве: без облака, без ключей API, без оплаты за каждый запрос. Размеры — от 2 до 284 мегабайт. Запускаются на пятилетнем айфоне, планшете, ноутбуке и прямо в браузере.

За сутки публикация собрала 426 очков на Hacker News. Причина простая: большая часть задач, на которые сегодня зовут облачные модели, не требует ни гигантского контекста, ни рассуждений. Им нужна скорость и приватность.

Что именно они выложили

• Voz — расшифровка речи. Заявлено в 4,7 раза быстрее Whisper: десять минут записи превращаются в текст за две секунды прямо на телефоне.
• Clear — очистка звука от шума. Модель весит 9 МБ, пять минут записи обрабатывает за секунду.
• Redact — маскировка персональных данных на 27 языках.
• Tongue — определение языка. Два мегабайта, 84 языка.
• Clips — нарезка видео на фрагменты, 284 МБ.

Всего двенадцать стабильных моделей и шесть в бете. Лежат на GitHub и Hugging Face, бесплатны до ста тысяч активных устройств в месяц. Подключение — через SDK для Swift, Kotlin и JavaScript.

Почему это отдельный класс задач

У облачной модели есть три неустранимых свойства: задержка на дорогу до сервера, плата за каждый запрос и тот факт, что данные физически уезжают наружу.

Для разговора с ассистентом это нормально: вы ждёте секунду, платите копейки, отправляете свой же вопрос. А вот для служебных операций всё меняется.

Расшифровка диктофонной записи, определение языка входящего сообщения, чистка звука перед отправкой, замазывание паспортных данных в документе — это не «интеллект», это обработка. Здесь поход в облако выглядит странно: медленнее, дороже и с лишним риском.

Отдельно про Redact

Модель, которая находит и маскирует персональные данные, стоит того, чтобы рассмотреть её внимательнее.

Главный страх людей, которые несут в ИИ рабочие документы, звучит одинаково: «а мой договор теперь у них на сервере». Обычно на это отвечают текстом политики конфиденциальности. Гораздо убедительнее выглядит другое: имена, телефоны, адреса и номера счетов заменяются на заглушки до того, как запрос куда-то ушёл, прямо на устройстве. Наружу уезжает обезличенный текст, а настоящие значения подставляются обратно уже в ответе.

Для российских компаний это ещё и разговор про 152-ФЗ, где вопрос «куда уехали персональные данные» имеет вполне конкретную цену.

Чего локальные модели не умеют

Честности ради: заменить нормальную языковую модель они не могут и не пытаются.

Разобрать договор на пятьдесят страниц, написать текст, найти логическую дыру в рассуждении, собрать работающий код — для этого нужны десятки миллиардов параметров, а не двадцать мегабайт. В телефон такая модель не помещается, а если и поместится, то посадит батарею.

Правильная картина — не «облако против устройства», а разделение труда: рутинная обработка происходит локально и мгновенно, содержательная работа уходит в большую модель.

Что это значит для пользователя

В ближайший год такие модели будут всё чаще прятаться внутри приложений, которыми вы пользуетесь: диктофон расшифровывает запись сам, камера читает документ без загрузки, клавиатура переводит без сети. Вы не увидите слова «нейросеть» — просто функция начнёт работать в самолёте и в метро.

А задачи, где нужен смысл, а не обработка, останутся за большими моделями. В tenzor они собраны в одном месте, работают из России и оплачиваются рублёвой картой — сравнить их и цену за тысячу токенов можно в таблице моделей.

Что дальше почитать

• Модели для чата — большие модели и цены за 1000 токенов.
• Токены и кредиты: как устроена оплата — за что вы платите в облаке.