Глава Anthropic предлагает притормозить гонку ИИ: о чём эссе и почему спорят

Дарио Амодеи, сооснователь и глава Anthropic, выпустил эссе «We must pace the frontier» — о том, что гонку за всё более мощными моделями пора замедлить. Текст вызвал шум не потому, что призыв новый, а потому, что его сделал человек, который эти самые модели и выпускает.

Главный аргумент: пауза без дела бессмысленна

Призывы притормозить звучали и раньше — например, известное открытое письмо 2023 года. Амодеи прямо пишет, что тогда идея смысла не имела, и объясняет почему.

Модели тех лет были слишком слабы, чтобы изучать на них настоящие риски. Изучать по ним поведение будущего ИИ, по его словам, всё равно что исследовать психологию человека, ставя опыты на бактериях. Сегодня картина другая: нынешние модели ведут себя как агенты, умеют обманывать и выкручиваться, и потому сами стали материалом для исследования.

Отсюда и формулировка: вопрос не «остановиться или нет», а «что вы сделаете с выигранным временем». Год-два отсрочки имеют смысл, если их потратить на четыре вещи.

• Операционная дисциплина. Обучение крупной модели — это тысячи людей, миллионы чипов и одна из самых сложных инфраструктур в технике. Часть недавних сбоев в поведении моделей, по признанию Anthropic, возникла из-за плохо отфильтрованных обучающих сред. Не теория подвела, а исполнение.
• Выравнивание. Обучение модели вести себя предсказуемо и по правилам. Редкие странные срывы в поведении всё ещё случаются, и понимания их причин не хватает.
• Интерпретируемость. Наука о том, что происходит внутри модели. Автор сравнивает её с томографией мозга: она уже помогает разбирать инциденты, но объясняет лишь малую часть происходящего.
• Проверки. Чем умнее модель, тем лучше она проходит тесты, оставаясь при этом небезопасной. Нужны и более хитрые проверки, и способ их перепроверять.

Три шага, которые он предлагает

1. Государственный надзор. По образцу отраслей, где регуляторы сидят внутри компании рядом с сотрудниками. Anthropic, по словам Амодеи, идёт на это в одностороннем порядке уже сейчас, не дожидаясь требований.
2. Договорённость между компаниями демократических стран об общих стандартах безопасности и ограничении темпа. Здесь он честно оговаривается: часть таких договорённостей юридически проблемна (это похоже на сговор), и без поддержки государств не обойтись.
3. Попытка договориться с авторитарными странами — с полным пониманием, насколько трудно проверять исполнение подобных соглашений.

Логика понятна: в одиночку тормозить бессмысленно, потому что тормозящий просто проигрывает рынок тем, кто не тормозит. Поэтому весь текст, по сути, про поиск способа замедлиться всем сразу.

Возражение: слова против действий

В тот же день появилось открытое письмо к Амодеи с простым тезисом: если вы всерьёз считаете, что безопасность важнее скорости, откройте веса своих моделей. Тогда изучать их сможет не только ваша команда, но и внешние исследователи.

Аргумент бьёт в уязвимое место. Anthropic зарабатывает на закрытых моделях, и призыв «давайте все притормозим» со стороны лидера рынка читается двояко: как забота о безопасности и как попытка зафиксировать текущий расклад. Похожую мысль коротко сформулировал заголовок другой заметки тех же дней: «все должны замедлиться, кроме меня».

Что это значит для тех, кто просто пользуется нейросетями

Ничего немедленного: модели никуда не денутся и завтра не подорожают. Но общее направление объясняет несколько вещей, с которыми вы сталкиваетесь уже сейчас.

Во-первых, осторожность моделей. Когда нейросеть отказывается отвечать на безобидный вопрос, за этим стоит именно такая логика: цена ложного отказа считается ниже цены пропущенного вреда. Чем громче разговор о безопасности, тем строже фильтры.

Во-вторых, разнообразие. Пока одни компании рассуждают о темпе, другие выкладывают открытые модели, а третьи просто выпускают релизы каждый месяц. Из-за этого разрыв между «самой умной» и «достаточно умной» моделью сокращается, а выбор у пользователя растёт.

В-третьих, цена. Замедление ради безопасности стоит денег, и платят за него в конечном счёте пользователи. Это ещё один довод в пользу простого правила: берите не самую мощную модель, а ту, которой хватает для вашей задачи.

Что дальше почитать

• Как ловят злоупотребления нейросетями — что компании отслеживают на практике.
• Сотни вредоносных пакетов залили ИИ-агенты — свежий пример, почему разговор о безопасности идёт именно сейчас.