Книги скупают тоннами: 50 тонн японских изданий уехали на сканирование в США

С августа японские онлайн-букинисты жалуются на странные заказы: не по одной книге, а десятками и сотнями, у некоторых продавцов выдавались дни с выручкой впятеро больше обычной. Заказы идут с разных аккаунтов, но доставка почти всегда на один логистический склад в префектуре Окаяма. По экспортным документам за год в США уехало больше 50 тонн японских книг. При среднем весе тома в полкилограмма это порядка ста тысяч книг.

Что именно покупают

Подборка жанров сразу выдаёт цель. Это не коллекционный спрос и не мода на конкретного автора.

• философия и история
• политическая история
• медицина и право
• быт и культура эпохи Эдо

То есть плотный содержательный текст на японском, которого мало в интернете. Ровно то, чего не хватает при обучении моделей на японском языке: оцифрованного корпуса качественных книжных текстов.

Цена продавцов удивляла не меньше. Берут и свежие издания, и лежавшие годами, дорогие и за пару долларов, без разбора.

Куда книги едут и что с ними происходит

Дальше начинается часть, известная по американским судебным делам. Там описан процесс, который называют деструктивным сканированием: с книги снимают переплёт, страницы прогоняют через сканер, бумагу отправляют в утиль.

Метод выбирают не из жестокости. Книга с отрезанным корешком сканируется быстро и без искажений, тогда как аккуратная постраничная съёмка занимает в разы больше времени. При объёмах в сотни тысяч томов разница решающая.

Что говорит японский закон

Тут ситуация не такая однозначная, как кажется. Японское авторское право заметно мягче европейского в вопросе анализа данных: использовать защищённые произведения для информационного анализа разрешено без разрешения правообладателя.

Но есть оговорка: нельзя делать это способом, который необоснованно ущемляет интересы правообладателя. Попадает ли под неё оптовая скупка бумажных книг с последующим уничтожением, не решено. Ответ зависит от фактов, которые пока не установлены публично.

Почему бумажные книги вообще понадобились

Логичный вопрос: интернет огромен, зачем резать книги. Причин три.

Текста в сети много, но качественного мало. Книжный текст плотнее, связнее и лучше отредактирован, чем большинство страниц в интернете. Для обучения это разные по ценности данные.

Открытые источники в значительной степени исчерпаны. Крупные модели уже прошли по всему, что лежит свободно, и прирост от очередного гигабайта форумных сообщений минимален.

Интернет засоряется собственным выводом моделей. Тексты, написанные нейросетями, попадают в сеть и снова уходят в обучение. Бумажная книга гарантированно написана человеком до всей этой истории, и как источник она стала цениться выше.

Что это значит для тех, кто работает с моделями

Практических следствий два, оба неочевидные.

Первое: качество ответов на редких языках и узких темах будет расти рывками, а не плавно. Появление большого корпуса японских книг по медицине заметно улучшит ответы именно в этой области, и не затронет остальные. То же справедливо для русского: если корпус качественных текстов по теме есть, модель отвечает предметно; если нет, начинает придумывать.

Второе: проверять источники придётся по-прежнему. Модель не станет надёжнее оттого, что училась на книгах. Она станет увереннее, а это не одно и то же.

Кому эта история интересна с другой стороны

Букинисты, которых не спросили, остаются в странном положении. Продажи выросли в разы, книги ушли по хорошей цене, но конкретные экземпляры перестали существовать, а тот, кто их купил, неизвестен.

В tenzor мы работаем с готовыми моделями провайдеров, своих не обучаем и книги не покупаем. Но понимать, из чего собраны модели, полезно: это объясняет, почему они хорошо отвечают в одних областях и плывут в других.

Что дальше почитать

• Токены дешевеют в сотни раз, а счёт не падает — экономика вокруг обучения и работы моделей.
• Модели для чата — что доступно сейчас и по какой цене.