Цель аудита: — Получение приблизительного списка URL адресов, которые следует исключить из индекса поисковых машин. — Создание файла robots.txt Аудит состоял из следующих этапов: — Выявление проблемы индексации. — Выявление URL адресов сайта, затрудняющих нормальную индексацию сайта. — Создание списка URL на удаление через панель WM — Создание матрицы проверки URL адресов для robots.txt — Правка robots.txt в соответствии с требованиями поисковых машин — Создание нового robotx.txt