Открытые модели начали раздавать торрентами, чтобы их нельзя было удалить
У открытых моделей есть неприятная особенность: «открытая» не значит «вечная». Веса лежат на одном большом хостинге, и если их оттуда убирают, скачать модель больше неоткуда. Проект Pirate Face предлагает решение из нулевых: раздавать модели торрентами.
Как устроено
Каждая модель с Hugging Face зеркалится в торрент. Файлы раздаются участниками сети, а не одним сервером, поэтому отключить раздачу централизованно невозможно.
Подлинность проверяется контрольными суммами. У каждого файла есть официальная сумма с исходного хостинга, и после скачивания она должна совпасть. Это защищает от главного риска такой схемы: подменённых весов, в которые кто-то мог что-то дописать.
Подключение обещают бесшовным: те же пути и тот же интерфейс, меняется только адрес источника.
Зачем это нужно
Причин убрать модель хватает и без злого умысла.
Претензия правообладателей к обучающим данным, смена лицензии, решение компании убрать старую версию, чтобы не поддерживать, юридические требования в конкретной стране, банальная экономия на хранении. В любом из этих случаев пользователи, построившие работу на модели, остаются без неё.
Для исследований это отдельная боль: воспроизвести чужой результат невозможно, если исчезла ровно та версия весов, на которой он получен.
Что торренты не решают
Раздача сохраняет файлы, но не решает остальное.
Юридический статус. Если модель убрали по требованию суда, её раздача не становится законной. Техническая устойчивость не равна правовой.
Живучесть роя. Торрент жив, пока есть раздающие. Популярные модели переживут что угодно, а редкие тихо исчезнут ровно так же, как исчезли бы с хостинга.
Запуск. Скачанные веса нужно где-то выполнять. Для моделей на десятки гигабайт нужна серьёзная видеокарта, и это отсекает большинство желающих.
Что из этого следует для пользователя
Практический вывод простой: если ваша работа завязана на конкретную модель, полезно понимать, что будет, когда она исчезнет.
В сервисах вроде нашего это забота поставщика: модель пропадает из каталога, вы выбираете соседнюю, а история переписки и файлы остаются на месте. Если же вы строите что-то своё на открытых весах, держите копию нужной версии у себя.
Что такое Pirate Face?+
Проект, который зеркалит открытые модели с Hugging Face в торренты. Файлы раздаются участниками сети и проверяются по официальным контрольным суммам.
Зачем вообще сохранять модели?+
Веса убирают из открытого доступа по разным причинам: претензии правообладателей, смена лицензии, решение компании, юридические требования. Пользователи и исследователи остаются без нужной версии.
Можно ли доверять весам из торрента?+
Контрольная сумма должна совпадать с официальной, иначе файл подменён. Это основная защита схемы.
Делает ли торрент раздачу законной?+
Нет. Если модель убрали по юридическим основаниям, техническая доступность этого не меняет.
Нужно ли мне это, если я пользуюсь моделями через сервис?+
Нет. Когда модель уходит из каталога, вы просто выбираете другую, а переписка и файлы остаются. Копия весов нужна тем, кто запускает модели сам.
Что дальше почитать
- Почему нейросети похожи друг на друга — как знания перетекают между моделями.
- Как выбрать нейросеть для картинок — что делать, когда моделей много.
Модели меняются, работа остаётся
Каталог обновляется за вас: история переписки и файлы никуда не деваются.
Открыть чат