Бот парсит сайт. Как заблокировать?
Собственно нашел клон своего сайта, парсит все страницы под видом гугл бота
Вот логи пример
[u][22/Mar/2020:15:16:16 +0300] 0.050 0.050 404 162.158.202.230 binvel.ru GET /zxcvxzxcv4 HTTP/1.1 "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "http://binvel.ru/zxcvxzxcv4"
Раньше таких парсеров можно было заблокировать по IP но сейчас подключил cloudflare и все входящие IP подменяются на cloudflare. Собственно может кто знает есть возможность заблокировать парсера, чтобы не затронуть гугл бота ?
Попробуй плагин All In One WP Security - возможно, поможет. Довольно полезные в нём штуки есть.
https://ru.wordpress.org/plugins/all-in-one-wp-security-and-firewall/
Как вариант - это получить реальный IP используя средства облачной защиты:
https://support.cloudflare.com/hc/en-us/articles/200170916-Restoring-original-visitor-IPs-Option-1-Installing-mod-cloudflare
на русском с готовым кодом:
https://pogrommist.ru/2018/03/kak-poluchit-realnyj-ip-adres-posetitelya-cherez-cloudflare/
и уже тогда блокировать настоящий IP парсера