User-agent: * # Создаем секцию правил для роботов. * значит для всех # роботов. Чтобы указать секцию правил для отдельного # робота, вместо * укажите его имя: GoogleBot, Yandex. Disallow: /cgi-bin # Стандартная папка на хостинге. Disallow: /wp- # Все связанное с WP - это: /wp-content /wp-admin # /wp-includes /wp-json wp-login.php wp-register.php. Disallow: /wp/ # Каталог куда установлено ядро WP (если ядро установлено # в подкаталог). Если WP установлен стандартно, то # правило можно удалить. Disallow: /? # Все параметры запроса на главной. Disallow: *?s= # Поиск. Disallow: *&s= # Поиск. Disallow: /search # Поиск. Disallow: /author/ # Архив автора. Disallow: */embed$ # Все встраивания. Disallow: */xmlrpc.php # Файл WordPress API Disallow: *utm*= # Ссылки с utm-метками Disallow: *openstat=* # Ссылки с метками openstat Disallow: *?storyid=* Allow: */wp-*/*ajax*.php # AJAX запросы: */admin-ajax.php */front-ajaxs.php Allow: */wp-sitemap # карта сайта (главная и вложенные) Allow: */uploads # открываем uploads Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д. Allow: */wp-*/*.swf # файлы в плагинах, cache папке и т.д. Allow: */wp-*/*.pdf # файлы в плагинах, cache папке и т.д. # Секция правил закончена # Одна или несколько ссылок на карту сайта (файл Sitemap). Это независимая # директива и дублировать её для каждого User-agent не нужно. Так например # Google XML Sitemap создает 2 карты сайта: Sitemap: https://www.tropica.ru/sitemap_index.xml #Sitemap: http://example.com/wp-sitemap.xml.gz # Rules for Invision Community (https://invisioncommunity.com) # Block pages with no unique content Disallow: */forum/startTopic/ Disallow: */forum/discover/unread/ Disallow: */forum/markallread/ Disallow: */forum/staff/ Disallow: */forum/online/ Disallow: */forum/discover/ Disallow: */forum/leaderboard/ Disallow: */forum/search/ Disallow: */forum/tags/ Disallow: */forum/*?advancedSearchForm= Disallow: */forum/register/ Disallow: */forum/lostpassword/ Disallow: */forum/login/ Disallow: */forum/profile/ Disallow: */profile/ # Block faceted pages and 301 redirect pages Disallow: */forum/*?sortby= Disallow: */forum/*?filter= Disallow: */forum/*?tab= Disallow: */forum/*?do= Disallow: */forum/*&do= Disallow: */forum/*ref= Disallow: */forum/*?forumId* Disallow: */forum/*?all_activity= Disallow: */forum/*?browse= Disallow: */forum/*&change_section= Disallow: */forum/*?context= Disallow: */forum/*?sharelink= Disallow: *§ion=reputation* Disallow: *?ysclid=* # Block profile pages as these have little unique value, consume a lot of crawl time and contain hundreds of 301 links Disallow: */forum/profile/ # Sitemap URL Sitemap: https://www.tropica.ru/forum/sitemap.php User-agent: Yandex Clean-param: s&user&browse&context&ref&tab&change_section /forum/ Clean-param: storyid&start / Disallow: /? # Все параметры запроса на главной. Disallow: *?s= # Поиск. Disallow: *&s= # Поиск. Disallow: /search # Поиск. Disallow: /author/ # Архив автора. Disallow: */embed$ # Все встраивания. Disallow: */xmlrpc.php # Файл WordPress API Disallow: *utm*= # Ссылки с utm-метками Disallow: *openstat=* # Ссылки с метками openstat Disallow: *?storyid=* Allow: */wp-*/*ajax*.php # AJAX запросы: */admin-ajax.php */front-ajaxs.php Allow: */wp-sitemap # карта сайта (главная и вложенные) Allow: */uploads # открываем uploads Allow: */wp-*/*.js # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.css # внутри /wp- (/*/ - для приоритета) Allow: */wp-*/*.png # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.jpeg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.gif # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.svg # картинки в плагинах, cache папке и т.д. Allow: */wp-*/*.webp # файлы в плагинах, cache папке и т.д. Allow: */wp-*/*.swf # файлы в плагинах, cache папке и т.д. Allow: */wp-*/*.pdf # файлы в плагинах, cache папке и т.д. Disallow: */forum/startTopic/ Disallow: */forum/discover/unread/ Disallow: */forum/markallread/ Disallow: */forum/staff/ Disallow: */forum/online/ Disallow: */forum/discover/ Disallow: */forum/leaderboard/ Disallow: */forum/search/ Disallow: */forum/tags/ Disallow: */forum/*?advancedSearchForm= Disallow: */forum/register/ Disallow: */forum/lostpassword/ Disallow: */forum/login/ # Block faceted pages and 301 redirect pages Disallow: */forum/*?sortby= Disallow: */forum/*?filter= Disallow: */forum/*?tab= Disallow: */forum/*?do= Disallow: */forum/*&do= Disallow: */forum/*ref= Disallow: */forum/*?forumId* Disallow: */forum/*?all_activity= Disallow: */forum/*?browse= Disallow: */forum/*&change_section= Disallow: */forum/*?context= Disallow: */forum/*?sharelink= Disallow: *§ion=reputation* Disallow: *?ysclid=* # Block profile pages as these have little unique value, consume a lot of crawl time and contain hundreds of 301 links Disallow: */forum/profile/