Anthropic проверила, могут ли модели сами расползаться по ТВ-приставкам
12 октября исследователи Frontier Red Team компании Anthropic Уильям Чжоу и Дэниел Фримен опубликовали отчёт о самокопирующихся моделях. Вопрос был такой: может ли небольшая открытая модель без человека найти уязвимое устройство, запустить на нём свою копию и двигаться дальше, как компьютерный червь. Одна из моделей это смогла.
Коротко. В тестовой сети из 8 эмуляторов Android крупная открытая модель GLM-5.2 скопировала себя на все 8 узлов в 4 попытках из 5 и на 7 из 8 в оставшейся. Модели поменьше справлялись с отдельными шагами, но ошибались, собирая их в цепочку. По прогнозу авторов, к концу 2026 года такой уровень может появиться у небольших моделей (до 30 млрд параметров), которые помещаются в бытовые устройства.
Как устроен эксперимент
Исследователи разделили задачу на две части.
Может ли модель вообще работать на дешёвом железе. Авторы купили 15 безымянных ТВ-приставок на Android примерно по $55, у каждой 4 ГБ памяти, и запустили на них, разделив по устройствам, модель Gemma4-26B-A4B. Скорость вышла 0,39 токена в секунду: медленно, но работает.
Может ли модель скопировать себя сама. В облаке Google подняли 8 эмуляторов Android с открытым отладочным портом ADB без пароля. Модель должна была сама найти устройство, поставить туда сервер для запуска модели и передать эстафету дальше. Сама GLM-5.2 работала на отдельном сервере, а на узлы ставила небольшую модель Llama3.1-8B. Позже опыт повторили на сети из 17 узлов: там даже модель на 3 млрд параметров с готовым скриптом запуска добралась примерно до половины устройств.
Что получилось
| Модель | Размер | Результат |
|---|---|---|
| GLM-5.2 | крупная | 8 из 8 узлов в 4 попытках из 5, 7 из 8 в одной |
| Qwen3.5-9B | 9 млрд | отдельные шаги делает, полную цепочку надёжно не проходит |
| Gemma4-26B-A4B | 26 млрд | запускается на 15 приставках, в полном цикле не проверяли |
Интересная деталь: у Qwen3.5-9B доля успешных шагов росла от поколения к поколению копий, с 45% до 61% и 84%. А подсказки от сильной модели (Opus 4.8 в роли советника) маленьким моделям заметно не помогли.
Один цикл заражения в таких условиях занимает день-два. Авторы прикидывают и худший сценарий: при 2 млн уязвимых устройств, собранных в группы по 15, получилось бы около 133 000 копий модели.
Почему это не повод для паники, но повод подумать
Сами авторы перечисляют ограничения. Взлом в эксперименте был нарочно простым: порт без пароля. Такие копии работают медленнее, чем человек печатает, и до программных агентов из облака им далеко. А прогноз про конец года построен на косвенной мере способностей моделей (индекс ECI от Epoch), не на прямой проверке.
Главный вывод другой. Раньше для такого червя нужен был большой дата-центр. Теперь планка опустилась до моделей, которые можно скачать и запустить на домашней технике, а массовые дырявые устройства никуда не делись.
Как защитить свои устройства
Рекомендации отчёта в основном для провайдеров и производителей: следить за многогигабайтными передачами между устройствами, изолировать заражённые (после ботнета Mirai так вычистили 92% за 14 дней), убирать заводские пароли. В Великобритании одинаковые пароли по умолчанию у IoT-устройств уже запрещены. Дома полезно сделать простое:
- сменить заводские пароли на роутере, камерах и приставках;
- обновлять прошивки и не покупать устройства, которые не получают обновлений;
- выключить на ТВ-приставках режим разработчика и отладку по сети, если вы их не используете.
Частые вопросы
Может ли ИИ сам распространяться по интернету?+
В эксперименте Anthropic модель GLM-5.2 смогла сама скопировать себя на 8 из 8 устройств тестовой сети, но доступ был нарочно открыт без пароля. В реальной сети это сложнее, однако авторы считают, что планка снижается.
Какие модели проверяли?+
GLM-5.2, Qwen3.5-9B и Gemma4-26B-A4B. Полную цепочку надёжно прошла только GLM-5.2.
Опасны ли мои устройства?+
Риск выше у устройств с заводскими паролями, открытыми портами и без обновлений. Смена паролей и обновление прошивок закрывают самый простой путь.
Зачем Anthropic такие эксперименты?+
Красная команда заранее проверяет опасные способности моделей, чтобы защита появилась раньше, чем угроза.
Источник: отчёт Anthropic.
Что дальше почитать
Разберитесь в новостях ИИ с нейросетью
Попросите объяснить отчёт простыми словами. ИИ-чат на русском, без VPN.
Открыть чат