Карпати: разрыв в понимании ИИ растёт, и это уже воронка

11 октября Андрей Карпати, один из основателей OpenAI и бывший директор по ИИ в Tesla, вернулся к своему апрельскому посту о том, что люди по-разному понимают возможности языковых моделей. Тогда он описывал две группы, которые говорят мимо друг друга. Теперь, по его словам, это уже не две группы, а резко сужающаяся воронка.

Коротко. Карпати прикидывает, что около 75% людей почти не сталкивались с ИИ, около 20% видят бесплатного чат-бота, 0,2% профессионалов в коде и математике сдают агентам проекты на недели работы, а примерно 5000 человек внутри лабораторий видят системы, которые работают роями агентов. Ширину разрыва определяют три вещи: насколько большие задачи вы даёте, в какой области работаете и к какой модели у вас доступ.

Четыре слоя воронки

Цифры Карпати сам называет прикидкой «на салфетке».

Ко второму слою Карпати относит и многих профессионалов вне кода и математики. Руководители, например, большую часть дня общаются с людьми, поэтому понимают происходящее умом, но видят его из вторых рук. А о себе он пишет, что меньше года назад ещё набирал код руками, символ за символом.

Почему разрыв растёт

Карпати называет три причины.

Размер задачи. Вопрос, на который хватит абзаца ответа, почти не нагружает модель. Чтобы увидеть её возможности, нужен запас больших трудных задач, которые вам действительно важны.

Неровность способностей. Модели особенно сильны там, где результат цифровой, проверяемый и приносит деньги: в коде и математике. Причина в обучении: модели учат с подкреплением на задачах, где правильность можно проверить автоматически, а набор таких задач лаборатории подбирают по коммерческой ценности. В областях без такой проверки скачок заметно скромнее.

Доступ. Бесплатная версия, платная и внутренняя различаются настолько, что люди с разным доступом фактически обсуждают разные технологии.

Итог поста: широкая публика почти не пользовалась этими системами, а когда пользовалась, видела неуклюжего чат-бота. Большинство профессионалов получает скромный прирост. И только узкая полоска людей чувствует, как кривая уходит вертикально вверх. Всё это происходит одновременно.

Что из этого следует для обычного пользователя

Пост не про то, что надо срочно учиться программировать. Из трёх причин разрыва на две вы влияете сами.

• Давайте модели крупные задачи. Не «перепиши абзац», а «вот выгрузка продаж за год, найди, где мы теряем деньги, и собери отчёт». Короткие вопросы показывают ИИ с самой скромной стороны.
• Пробуйте сильные модели. Разница между бесплатной лёгкой моделью и флагманом на сложной задаче огромна. Флагман дороже за запрос, но на трудной задаче это обычно окупается.
• Знайте слабые места. Там, где нет проверяемого ответа (оценки людей, прогнозы, решения «по ощущению»), модели всё ещё ошибаются чаще, и результат стоит проверять.

Как ставить модели большие задачи, разбирали в статье как ставить задачу ИИ-агенту, а о том, почему в математике скачок особенно заметен, рассказывает Теренс Тао в лекции «Математика 2.0».

Частые вопросы

Источник: пост Андрея Карпати в X.

Что дальше почитать

• Вайбкодинг: что это такое
• Что такое ИИ-агент