Составляем правильный robots.txt для XenForo

Sam Jack

Капитан-Узурпатор
Команда форума
Созидатель
5 Май 2015
13.917
4.895
113
Россия
null-prog.ru
Решил создать тему о том кто, как составляет robots.txt для XenForo.
Код:
User-agent: *
Disallow: /register.html
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /*/?direction
Disallow: /*/?order
Disallow: /*/page-*?order
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /recent-activity/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /WhoHasVisited/
Allow: /misc/quick-navigation-menu
Sitemap: http://wmasteru.ru/sitemap/sitemap.xml.gz
User-agent: Yandex
Disallow: /register.html
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /*/?direction
Disallow: /*/?order
Disallow: /*/page-*?order
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /recent-activity/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /WhoHasVisited/
Allow: /misc/quick-navigation-menu
Host: wmasteru.ru
Sitemap: http://wmasteru.ru/sitemap/sitemap.xml.gz

Данный вариант не является самым правильным, может кто-то составил по другому. Для этого и была создана эта тема, дабы более-менее систематизировать знания.

У кого есть предложения, смело пишите их тут.