Повечето опитни блогъри със сигурност знаят какво е robots.txt и защо имате нужда от този файл. Но малко автори веднага бързат да създадат файл robots.txt след инсталиране на блог в WordPress.
Robots.txt е текстов файл, който се качва в главната директория на вашия сайт и съдържа инструкции за роботите. Основната цел на използването му е да се забрани индексирането на отделни страници и раздели на сайта. Въпреки това, използвайки robots.txt, можете също да посочите правилното огледало на домейна, да предпишете пътя към картата на сайта и други подобни.
Повечето съвременни търсачки са се научили да се ориентират добре в популярната CMS и обикновено не се опитват да индексират съдържание, което не е предназначено за това. Например Google няма да индексира вашата административна област на блога на WordPress, дори ако не го посочите директно в robots.txt. Въпреки това, в някои случаи използването на преки забрани все още може да бъде полезно. И ние говорим предимно за забрана на дублирано съдържание.
Някои уебмастъри стигат дотам, че забраняват индексирането на страници с категории и тагове, тъй като тяхното съдържание частично дублира съдържанието на основната страница. Но повечето се ограничават до забрана за проследяване и страници с емисии, които напълно дублират съдържанието на статии и изобщо не са предназначени за търсачките. Подобна предпазна мярка не само ще направи резултатите от сайта „по-чисти“, но и ще ви спести от възможни филтри за търсене, особено след въвеждането на новия алгоритъм на Google Panda.
Ето препоръчителните директиви за файл robots.txt (ще работи за почти всеки блог на WordPress):
Потребителски агент: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-включва Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Моля, обърнете внимание, че в robots.txt административните папки wp-admin и wp-includes са напълно затворени за индексиране. Папката wp-content е само частично затворена, тъй като съдържа директорията за качване, която съдържа всички изображения от вашия блог, които трябва да бъдат индексирани.
Всичко, което трябва да направите, е да копирате директивите от горния код (имайте предвид, че всяка директива трябва да бъде написана на нов ред), да ги запишете в текстов файл, наречен robots.txt, и да ги качите в основната директория на вашия сайт.
Винаги можете да проверите дали robots.txt работи правилно чрез интерфейсите на Google Webmaster Tools и Yandex Webmaster.
