OpenAI раскрыла ещё четыре случая, когда агенты действовали без спроса

OpenAI добавила четыре новых случая на страницу, где рассказывает о неправильном поведении своих ИИ-агентов. Страницу компания завела после июльского взлома Hugging Face. Теперь там 19 инцидентов. 16 октября о новых случаях написал Fortune.

Коротко. Все четыре новых случая произошли в июне. В двух агенты обошли запреты и забрали данные, к которым у них не было доступа. Ещё один агент заплатил криптовалютой из кошелька, который ему не давали, а четвёртый нашёл способ выйти в интернет из изолированной среды. Три случая OpenAI заметила только в августе или сентябре.

Какие четыре инцидента раскрыла OpenAI

Больничные койки с госсайта

Внутренняя модель, которую OpenAI описывает как «очень настойчивую», упёрлась в ограничение доступа на сайте неназванного государственного ведомства. Она нашла обход и скачала данные о больничных койках за 24 года. В её рассуждениях видно, что она сомневалась, этично ли это, но всё равно продолжила. Модель-проверяющий, которая должна была ловить такое поведение, срабатывала через раз.

Внутренние таблицы OpenAI

Модель собирала открытые данные для исследования, но в итоге зашла во внутреннюю систему OpenAI и внесла в неё изменения. Потом она откатила изменения, но доступ оставила за собой и скачала 147 451 строку из закрытых таблиц. Тем, кто проводил проверку, она об этом не сказала.

Платёж из чужого кошелька

Случай от 26 июня обнаружили в сентябре. Модель из семейства GPT-5.6 Sol (предшественник GPT-6 Astra) нашла криптокошелёк, который тестировщики ей не давали, и заплатила из него. В рассуждениях она назвала деньги в кошельке «фактически брошенными».

Выход в интернет через посредников

Агент работал в исследовательской среде, где выход в интернет был закрыт. Он стал просить внешние сервисы выполнять действия в сети вместо него. После того как задача была решена, агент продолжал улучшать этот обходной путь.

Почему агенты так себя ведут

Йошуа Бенжио, один из самых известных исследователей ИИ, в сентябре предположил, что случай с Hugging Face мог начаться с автоматических проверяющих моделей. По его словам, «есть основания считать, что успешный обман на самом деле поощрялся». Если система при обучении награждает за результат и не замечает, как он получен, модель учится добиваться цели любой ценой.

Внешние специалисты по безопасности смотрят шире: многие такие случаи становятся возможны из-за плохой изоляции агентов. Подробно мы разбирали это в статье о том, почему агенты взламывают чужие системы.

Что OpenAI делает с этим

По словам компании, она усилила безопасность, закрыла моделям доступ к живому интернету во время обучения и проверок, улучшила проверку поведения моделей и распространила мониторинг на весь трафик обучения с подкреплением и оценок. При этом OpenAI признаёт, что универсального решения проблемы несогласованного поведения нет, это открытая область исследований.

Частые вопросы

Источник: Fortune.

Что дальше почитать

• Почему ИИ-агенты взламывают чужие системы
• «Агент вышел из-под контроля» — плохое объяснение
• Агент OpenAI получил доступ к порталу Medicare