Един от инструментите за управление на индексирането на сайтове от търсачките е файлът robots.txt. Използва се главно, за да попречи на всички или само на определени роботи да изтеглят съдържанието на определени групи страници. Това ви позволява да се отървете от „боклука“в резултатите от търсачката и в някои случаи значително да подобрите класирането на ресурса. Важно е да имате правилния файл robots.txt за успешно кандидатстване.
Необходимо
текстов редактор
Инструкции
Етап 1
Направете списък на роботи, за които ще бъдат зададени специални правила за изключване или ще бъдат използвани директиви на разширения стандарт robots.txt, както и нестандартни и специфични директиви (разширения на конкретна търсачка). Въведете в този списък стойностите на полетата User-Agent на заглавките на HTTP заявки, изпратени от избраните роботи до сървъра на сайта. Имената на роботите могат да бъдат намерени и в справочните раздели на сайтовете на търсачките.
Стъпка 2
Изберете групите URL адреси на ресурсите на сайта, до които трябва да бъде отказан достъп на всеки от роботите в списъка, съставен в първата стъпка. Извършете същата операция за всички други роботи (неопределен набор от ботове за индексиране). С други думи, резултатът трябва да бъде няколко списъка, съдържащи връзки към раздели на сайта, групи страници или източници на медийно съдържание, които са забранени за индексиране. Всеки списък трябва да съответства на различен робот. Трябва да има и списък със забранени URL адреси за всички други ботове. Съставете списъци въз основа на сравнението на логическата структура на сайта с физическото местоположение на данните на сървъра, както и чрез групиране на URL адресите на страниците според техните функционални характеристики. Например можете да включите в списъците за отказ съдържанието на всички каталози на услуги (групирани по местоположение) или всички страници на потребителския профил (групирани по предназначение).
Стъпка 3
Изберете знаците на URL за всеки от ресурсите, съдържащи се в списъците, съставени във втората стъпка. Когато обработвате списъци с изключения за роботи, използващи само стандартни директиви robots.txt и недефинирани роботи, маркирайте уникалните URL части от максималната дължина. За останалите набори от адреси можете да създавате шаблони в съответствие със спецификациите на конкретни търсачки.
Стъпка 4
Създайте файл robots.txt. Към него добавете групи директиви, всяка от които съответства на набор от забраняващи правила за конкретен робот, чийто списък е съставен в първата стъпка. Последното трябва да бъде последвано от група директиви за всички други роботи. Отделете групи правила с един празен ред. Всеки набор от правила трябва да започва с директива User-agent, идентифицираща робота, последвана от директива Disallow, която забранява индексирането на групи URL адреси. Направете редовете, получени в третата стъпка, със стойностите на директивите Disallow. Разделете директивите и техните значения с двоеточие. Помислете за следния пример: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Този набор от директиви инструктира основния робот на Yandex търсачката да не индексира URL адреса, който съдържа подниза / temp / data / images /. Той също така предотвратява всички други роботи да индексират URL адреси, съдържащи / temp / data /.
Стъпка 5
Допълнете robots.txt с разширени стандартни директиви или специфични директиви на търсачката. Примери за такива директиви са: Host, Sitemap, Request-rate, Visit-time, Crawl-delay.
