ИИ-боты на сайте: 69% запросов – скраперы, что делать бизнесу

Что произошло с сайтами брокеров за лето

Пять с половиной миллионов запросов за август – столько сделали скраперы к сайтам российских брокеров. В июне было 420 тысяч. Общий ИИ-трафик вырос скромно, с 6 до 8 млн запросов. Поменялся состав: по данным Servicepipe, ассистенты просели с 33% до 8,78%, обычные краулеры – с 60% до 22,4%, а скраперы заняли почти 69%.

Разница принципиальная. Ассистент пришёл потому, что живой человек спросил у нейросети про тарифы, и может привести клиента. Скрапер выкачивает страницы пачками и вынимает тексты, таблицы, котировки в обучающий датасет.

Зам гендиректора Servicepipe Даниил Щербаков связывает всплеск с подготовкой Meta к запуску новых моделей Llama и называет её поведение агрессивным. В «Цифра брокере» объясняют интерес проще: русскоязычных финансовых текстов в открытом вебе мало, а нужны они всем. Брокеры тут – удобный полигон для замера: много страниц, живые цифры, частые обновления. Ровно так же устроены интернет-магазин и медиа.

Кто платит за чужой обучающий датасет

Счёт приходит владельцу сайта: лишние гигабайты, ядра и ответы базы, а на интернет-магазинах с тяжёлым поиском по фильтрам – ещё и лишние секунды для живых покупателей.

Первый рефлекс – закрыть всё. Считаю это ошибкой. Каждый второй россиянин уже делал покупку с помощью ИИ, чаще всего сравнивая товары и характеристики (опрос по заказу Sokolov, сентябрь 2026, выборку не раскрыли). А в ИИ-трафике, который российские площадки признают доверенным, лидирует Алиса – 31%, дальше DeepSeek с 18%, GigaChat с 9%, ChatGPT с 7% и Perplexity с 3% (Servicepipe, первый квартал 2026). Одно правило «резать всех роботов» отрезает и эту витрину.

Оговорка: если у вас сайт-визитка на двести страниц и клиенты приходят по сарафану, не трогайте ничего. Разговор начинается там, где инфраструктура стоит заметных денег, а часть выручки идёт из поиска.

Что с этим делать руками

Тупик, в который упираются почти все, – robots.txt. Cloudflare в августе 2025 года завела чистые домены с прямым запретом на обход, а Perplexity всё равно пересказывала их содержимое: меняла user-agent, адреса и сети, объём скрытого обхода компания оценила в 3–6 млн запросов в сутки. robots.txt объявляет намерение, а ограничивает трафик только тот слой, который проверяет, кто именно пришёл.

Дальше идут решения продуктовые, а не серверные:

• разделить контент на три корзины: что отдаём любым роботам (карточки, цены, справка), что только людям (выгрузки, история заказов, всё внутри личного кабинета), что вообще не должно лежать в открытом вебе;
• проверять ботов по владельцу адреса, обратным DNS и сетям вендора, а не по имени в user-agent;
• поставить лимиты частоты на тяжёлые запросы: поиск с фильтрами, экспорт, API;
• вывести ИИ-трафик в отдельный отчёт и смотреть на него так же регулярно, как на конверсию.

Мы в CRT видим это на поддержке больших сайтов и личных кабинетов: нагрузка растёт, а в аналитике ничего не меняется, потому что счётчики считают людей. Это видно и по рынку: Servicepipe сообщал о трёхкратном росте обращений за настройкой работы с ИИ-агентами в первом квартале 2026 года.

Каких ботов не стоит закрывать

Запрет всех роботов подряд обходится дороже, чем кажется.

1. Отделите ботов, которые приходят по запросу живого человека, от тех, что собирают данные для обучения моделей.
2. Первых не закрывайте: через них сайт попадает в поиск и в ответы нейросетей.
3. По вторым решайте по логам и счёту за инфраструктуру, а не по общему опасению.
4. Через неделю проверьте по логам, работают ли ваши правила: robots.txt – просьба, а не замок.

Если цель – остаться в ответах нейросетей, а экономия на трафике вторична, начать можно с бесплатной первичной проверки сайта в AI READY.