ИИ-боты на сайте: 69% запросов – скраперы, что делать бизнесу

Что произошло с сайтами брокеров за лето

Пять с половиной миллионов запросов за август – столько сделали скраперы к сайтам российских брокеров. В июне было 420 тысяч. Общий ИИ-трафик вырос скромно, с 6 до 8 млн запросов. Поменялся состав: по данным Servicepipe, ассистенты просели с 33% до 8,78%, обычные краулеры – с 60% до 22,4%, а скраперы заняли почти 69%.

Разница принципиальная. Ассистент пришёл потому, что живой человек спросил у нейросети про тарифы, и может привести клиента. Скрапер выкачивает страницы пачками и вынимает тексты, таблицы, котировки в обучающий датасет.

Зам гендиректора Servicepipe Даниил Щербаков связывает всплеск с подготовкой Meta к запуску новых моделей Llama и называет её поведение агрессивным. В «Цифра брокере» объясняют интерес проще: русскоязычных финансовых текстов в открытом вебе мало, а нужны они всем. Брокеры тут – удобный полигон для замера: много страниц, живые цифры, частые обновления. Ровно так же устроены интернет-магазин и медиа.

Кто платит за чужой обучающий датасет

Счёт приходит владельцу сайта: лишние гигабайты, ядра и ответы базы, а на интернет-магазинах с тяжёлым поиском по фильтрам – ещё и лишние секунды для живых покупателей.

Первый рефлекс – закрыть всё. Считаю это ошибкой. Каждый второй россиянин уже делал покупку с помощью ИИ, чаще всего сравнивая товары и характеристики (опрос по заказу Sokolov, сентябрь 2026, выборку не раскрыли). А в ИИ-трафике, который российские площадки признают доверенным, лидирует Алиса – 31%, дальше DeepSeek с 18%, GigaChat с 9%, ChatGPT с 7% и Perplexity с 3% (Servicepipe, первый квартал 2026). Одно правило «резать всех роботов» отрезает и эту витрину.

Оговорка: если у вас сайт-визитка на двести страниц и клиенты приходят по сарафану, не трогайте ничего. Разговор начинается там, где инфраструктура стоит заметных денег, а часть выручки идёт из поиска.

Что с этим делать руками

Тупик, в который упираются почти все, – robots.txt. Cloudflare в августе 2025 года завела чистые домены с прямым запретом на обход, а Perplexity всё равно пересказывала их содержимое: меняла user-agent, адреса и сети, объём скрытого обхода компания оценила в 3–6 млн запросов в сутки. robots.txt объявляет намерение, а ограничивает трафик только тот слой, который проверяет, кто именно пришёл.

Дальше идут решения продуктовые, а не серверные:

• разделить контент на три корзины: что отдаём любым роботам (карточки, цены, справка), что только людям (выгрузки, история заказов, всё внутри личного кабинета), что вообще не должно лежать в открытом вебе;
• проверять ботов по владельцу адреса, обратным DNS и сетям вендора, а не по имени в user-agent;
• поставить лимиты частоты на тяжёлые запросы: поиск с фильтрами, экспорт, API;
• вывести ИИ-трафик в отдельный отчёт и смотреть на него так же регулярно, как на конверсию.

Мы в CRT видим это на поддержке больших сайтов и личных кабинетов: нагрузка растёт, а в аналитике ничего не меняется, потому что счётчики считают людей. Это видно и по рынку: Servicepipe сообщал о трёхкратном росте обращений за настройкой работы с ИИ-агентами в первом квартале 2026 года.