WordPress как на ладони
Недорогой хостинг для сайтов на WordPress: wordpress.jino.ru WPmentor - Ищем топовых специалистов по WordPress, чтобы помочь вам заработать

Бот парсит сайт. Как заблокировать?

Собственно нашел клон своего сайта, парсит все страницы под видом гугл бота

Вот логи пример

[u][22/Mar/2020:15:16:16 +0300] 0.050 0.050 404 162.158.202.230 binvel.ru GET /zxcvxzxcv4 HTTP/1.1 "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "http://binvel.ru/zxcvxzxcv4"

Раньше таких парсеров можно было заблокировать по IP но сейчас подключил cloudflare и все входящие IP подменяются на cloudflare. Собственно может кто знает есть возможность заблокировать парсера, чтобы не затронуть гугл бота ?

0
lethalblo
22 марта 2020 5
На вопросы могут отвечать только зарегистрированные пользователи. Вход . Регистрация