Просмотров: 1
Дата добавления: 13.03.11 в 12:33
Дата обновления: 20.03.11 в 07:05
Robots.txt
После анализа, я увидел, что файл Robots.txt заполнен некорректно:
1. нет разрешающих/запрещающих директив
2. некорректно указана ссылка на карту сайта в формате .xml
3. не определён главный домен сайта
Чем это может грозить для сайта:
1. некорректно заполненный файл robots.txt будет тормозить индексацию сайта
2. роботы не видят карту сайта, если она не была определена в вебмастер панели
3. при сбое на сервере apache может произойти деление веса сайта и неправильное определение адреса
4. другие проблемы
Как избежать:
1. удалить файл
2. исправить ошибки
3. исправить ошибки и дописать директивы
При первом варианте всё понятно, а про остальные распишу немного подробнее. Если за ошибки не считать отсутствие директив, то вам нужно исправить адрес карты сайта на абсолютный!
Согласно поддерживаемым правилам оформления файла robots.txt для поисковой системы Яндекс (
, ваш файл должен выглядеть следующим образом:
User-agent: *
Disallow:
Host:
Sitemap:
Содержание файла, написанное выше, является на 95% корректным, чего вполне достаточно для всех поисковых систем.
Что бы получить 100% корректное содержание файла, вам нужно писать директивы под каждую поисковую систему, или, по крайней мере, общий, и под Яндекс.