Настройка роботс

На моем сайте есть плагин BuddyPress для организации соц сети.

Суть такова, что все страницы пользователей, а это их группы, их темы, их настройки и тд отправляются на индексацию, как мне закрыть от роботов к примеру такие конструкции https://sitename.ru/users/skarzn/ все что после skarzn (либо другого пользователя)?

Проще говоря как избавиться от такого в индексе:

/users/support/forums/favorites/

/users/support/forums/replies/

/users/support/forums/

/users/support/friends/

/users/support/groups/

/users/support/profile/

Заметки к вопросу:
Kama 6.4 года назад

А поставить метатег robots="noindex,nofollow" почему не вариант? Или в файле robots.txt закрыть.

0
skarzn
6.4 года назад -13
robotsиндексацияфайл robots.txt
  • 0
    kolshix 779 paxtoy.com

    ищи что-то подобное

    RewriteEngine On
# Ссылки на проверку 
 RewriteCond %{REQUEST_URI} /wp-admin/.*$
 RewriteCond %{REQUEST_URI} /wp-content/plugins/.*$

# Боты на проверку 
 RewriteCond %{HTTP_USER_AGENT} (googl|google|googlebot|bingbot|yahoo|yandex|vk|vkcom|MSNBot|BingPreview|APIs-Google|Mediapartners-Google|AdsBot-Google-Mobile|AdsBot-Google-Mobile|AdsBot-Google|Googlebot-Image|Googlebot-News|Mediapartners-Google|AdsBot-Google-Mobile-Apps)
 RewriteCond %{HTTP_USER_AGENT} (SauceNAO|saucenao|iqdb|tineye|TinEye|TinEye-bot|facebook)
 RewriteRule . [F]

    после, проверь ответы сервера по ссылкам на каком нибудь ресурсе типо

    6.4 года назад #
    Комментировать
На вопросы могут отвечать только зарегистрированные пользователи. Вход . Регистрация