Новые правила обработки директив Allow и Disallow в файлах robots.txt

Владимир Вокстермен

Сегодня утром мне пришло письмо в мой «Яндекс.Вебмастер» со следующим содержанием:

«Добрый день!
Уведомляем вас об изменениях в обработке директивы ‘Allow’ файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.
По новым правилам, если страница сайта попадает под действие нескольких директив ‘Allow’ и/или ‘Disallow’, то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол ‘*’ не учитывается.
Если на вашем сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.»

Это значит, что всем необходимо изменить свои robots.txt. Как я понял, теперь мы указываем после allow все папки и рубрики сайта, которые хотим дать в поисковую выдачу. Все остальные папки автоматически не иднексируются.

Таким образом, мой новый robots.txt выглядит так:

User-agent: *
Allow: /category
Disallow: /
Host: blogalt.ru
Sitemap: http://blogalt.ru/sitemap.xml

Мне интересно, насколько я правильно его составил и что вы думаете по этому поводу.

Поставьте оценку автору!

Для меня это невероятно важно, а у вас займёт всего лишь один клик.

УжасноПлохоСреднеХорошоОлтично! (4 оценок)
Загрузка...
7 Комментариев
  1. Сергей
    22.04.2014 at 21:08

    Вот это было интересно, хотя вряд ли такая ситуация может случиться на блоге. Это нужно быть настолько невнимательным.

  2. ushi
    09.03.2012 at 23:51

    Robots.txt написанный выше не пишите! Потому что он кривой и ваши страницы по-тихоньку начнут выходить из индекса гугл, как происходит сейчас с «Блогом альтруиста». Сейчас юзаю другой код. О успехах сообщу.)

  3. gizmo
    09.03.2012 at 16:10

    Хм, интересно,может новое правило поможет сайты из под АГС выводить?

  4. Тимофей
    09.03.2012 at 12:43

    Даже не знаю, подожду не много, а потом посмотрим

    • ushi
      09.03.2012 at 12:46

      Пока ищу правильное решение на различных форумах, вроде http://forum.searchengines.ru, хотя в блогах ya.ru тема мощно обсуждается, но поверхностно.

  5. ushi
    09.03.2012 at 12:23

    Пока остановился на том варианте, который опубликовал, но это слишком просто. Неужели… гениально:)

  6. kkrampa
    09.03.2012 at 12:07

    Пока сам не пойму, что это будет

Добавить комментарий

Ваше сообщение*

Имя*
Email*
Сайт