Статья на эту тему уже была на блоге wp-info.ru, здесь я предложу альтернативный вариант кода для robots.txt и немного подробнее разберу некоторые нюансы.
В этой статье я хочу привести пример оптимального, на мой взгляд, кода для файла robots.txt под WordPress, который вы можете использовать в своих блогах на WordPress.
Для начала, вспомним зачем ...