Добавить ссылку в рекламную строку за 2 руб. Список всех ссылок в 
строке


Меню сайта



Новости проекта

Видеоурок-Бесплатное продвижение вашей реф ссылки !


Бесплатная реклама ссылки из Профиля. Ссылка будет показана во время проверки сайтов в модулье TopLine.
Профиль пользователя



Информация


У нас - 24.10.2020 0


Наши сервисы


Статистика проекта
Открытия: 21.05.2014г.


Дата на сервере: 24.10.2020г.

Время на сервере: 22:49


Сайтов в базе: 12358 шт.

Сайтов просмотрено: 11395751


Пользователей: 4206
Жалобы на сайты: 0 шт.


Рейтинг@Mail.ru Яндекс.Метрика

Реклама


Витрина ссылок


Скриншот сайта
скриншот
скриншот
скриншот
скриншот
скриншот
скриншот


Аттестат и контакты

WMID: 188777486221
WMR: R410176145576
E-mail: [email protected]
  BL:Бизнес-уровень [BL]

QR-код

Каталог статей SEO тематики

Правила обработки директивы Allow файла robots.txt

Дата: 12.09.2014
Новые правила обработки директивы Allow файла robots.txt. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow', о новых правилах её использования читайте далее.

Пример:
User-agent: Yandex Allow: /catalog Disallow: /

# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex Allow: /catalog Disallow: /

# запрещает скачивать все, кроме страниц находящихся в '/catalog'

User-agent: Yandex Disallow: / Allow: /catalog

# запрещает скачивать весь сайт

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.
Комментариев к данной статье нет

Для того чтобы добавить комментарий авторизуйтесь в системе!





В режиме реального времени - Основные активные страницы:



КОРОНАВИРУС. ПРОФИЛАКТИКА
КОРОНАВИРУС. ПРОФИЛАКТИКА

КОРОНАВИРУС. ПРОФИЛАКТИКА


ЗАЩИТИ СЕБЯ


Вирусы передаются от больного человека к здоровому воздушно -капельным путем, поэтому необходимо соблюдать расстояние не менее 1 метра.

  • Дата: 28 марта 2020
  • Опубликовал: admin
  • Комментариев: 1
Администрация сервиса SeoTitan не несёт ответственности за содержание рекламируемых ресурсов и возможный ущерб от их просмотра