Мошенники подсовывают свои телефоны в ответы ChatGPT и Gemini
Исследователи описали кампанию, которую назвали Dark Sourcery. Схема не про взлом моделей: злоумышленники наполняют интернет специально подготовленными страницами, а ассистент честно находит их и выдаёт пользователю мошеннический телефон поддержки или ссылку на поддельную форму входа. Под удар попали как минимум 374 компании, включая банки, авиакомпании, турфирмы и организации из списка Fortune 100.
Как работает схема
Никто не пытается «сломать» ChatGPT. Ломают то, что он читает.
Модель, отвечая на вопрос про телефон поддержки или возврат билета, идёт искать в интернете. Она берёт страницы, которые выглядят подходящими: похожи на официальные, содержат нужные слова, выглядят свежими. Мошенники готовят именно такие страницы.
В арсенале используют всё, что попадает в поиск:
- посты и статьи под конкретные запросы
- PDF-файлы, которые поисковики индексируют охотно
- фальшивые страницы поддержки с «горячей линией»
- отзывы на площадках и описания под видео
- взломанные сайты университетов и госорганов, чужая репутация которых повышает доверие
Дальше остаётся ждать. Кто-то спросит у ассистента телефон авиакомпании, получит номер мошеннического колл-центра и позвонит сам.
Почему это опаснее обычного фишинга
В письме или рекламе человек настороже. А ответ ассистента ощущается как справка, которую он получил лично для себя: без рекламы, без ссылок на сомнительные сайты, сразу с готовым номером. Критичность отключается именно потому, что источник кажется нейтральным.
Почему ассистенты на это ведутся
Причина в устройстве работы с интернетом. Модель оценивает не подлинность организации, а релевантность текста запросу.
Поисковая выдача хотя бы показывает адрес сайта: человек видит, что домен странный, и задумывается. Ассистент чаще выдаёт готовый ответ и сворачивает источники в неприметную сноску, которую мало кто раскрывает.
Второй фактор: свежесть. Страницы мошенников создаются под конкретный запрос и обновляются, а официальный раздел поддержки крупного банка может лежать без изменений годами. Для алгоритмов подбора источников свежее иногда выглядит уместнее.
Какие ответы проверять всегда
Есть узкий круг вопросов, где ошибка стоит денег. Именно там мошенники и работают.
| Что спрашивают | Чем рискуете |
|---|---|
| телефон или чат поддержки | звонок в поддельный колл-центр |
| страница входа в кабинет | отданные логин и пароль |
| реквизиты для оплаты или возврата | перевод мошенникам |
| адрес официального приложения | установка подделки |
| условия компенсации и возврата билета | звонок по «нужному» номеру из того же ответа |
Как проверять контакты, которые дала нейросеть
Правило простое: ассистент годится, чтобы понять, что делать, и не годится, чтобы узнать, куда звонить.
Берите контакты только с официального сайта, набранного руками. Не по ссылке из ответа, а через адрес, который вы знаете, или через приложение банка.
Номер на обороте карты надёжнее любого ответа модели. Для банков это решает вопрос полностью.
Смотрите источники в ответе. Если под ответом раскрывается список ссылок, откройте их. Домен вроде поддержки известного бренда на бесплатном хостинге снимает вопросы сразу.
Не верьте срочности. Мошеннические страницы почти всегда содержат подталкивание: «позвоните в течение суток», «иначе компенсация сгорит». Официальные разделы так не пишут.
Проверяйте телефон отдельным поиском. Один номер, вбитый в поиск, обычно сразу показывает, что с ним связано.
Что это меняет для тех, кто пользуется ассистентами каждый день
Практический вывод не в том, что ассистентами нельзя пользоваться. Просто у ответов разная цена ошибки, и относиться к ним стоит по-разному.
Объяснение, разбор документа, черновик письма, код — ошибка видна сразу или почти ничего не стоит. Контакты, реквизиты и ссылки для входа — область, где ошибка обходится дорого, а проверка занимает полминуты.
В tenzor при веб-поиске под ответом показываются источники, на которые модель опиралась. Это не защита от отравленной страницы сама по себе, но возможность увидеть, откуда взялся конкретный телефон, и не звонить по нему вслепую.
Что такое Dark Sourcery?+
Кампания, в которой злоумышленники насыщают интернет оптимизированными страницами, PDF-файлами, отзывами и фальшивыми разделами поддержки, чтобы ИИ-ассистенты подтягивали их как источник и выдавали пользователям мошеннические телефоны и формы входа.
Сколько компаний затронуто?+
По данным исследователей, как минимум 374 организации: банки, авиакомпании, туристические и софтверные компании, в том числе из списка Fortune 100.
Можно ли доверять телефону поддержки из ответа нейросети?+
Нет. Контакты берите только с официального сайта, набранного вручную, из приложения или с обратной стороны банковской карты. Ассистент подходит, чтобы понять порядок действий, а не чтобы узнать номер.
Как отличить отравленный ответ?+
Раскройте источники под ответом и посмотрите на домены. Настораживать должны страницы на бесплатных хостингах, сайты без отношения к бренду и любые формулировки про срочность: «позвоните в течение суток», «иначе компенсация сгорит».
Что дальше почитать
- Что такое промпт — как формулировать запрос, чтобы получать проверяемый ответ.
- ИИ-агенты взломали Hugging Face — другая сторона той же темы: что бывает, когда агент сам ищет обходные пути.
Смотрите источники под ответом
При веб-поиске в чате видно, откуда взялся каждый факт. Полминуты проверки экономят неприятный звонок.
Открыть чат