Настройка robots

Бюджет: 1 000 руб
12.52 $ – 11 €
Вижу,что средняя нагрузка нагрузка сервера очень высокая, в топе большое количество процессов apache, что говорит нам о большом количестве запросов к сайту. 

Для виртуальных хостов логирование у нас не настроено, последние логи доступа apache датируются 28.01.2016. 
В логах доступа nginx запросов немного, однако, идут из одних и тех же подсетей, что выглядит крайне подозрительно: 

1 104.237.242.59 – - [23/Nov/2016 
1 130.193.37.1 – - [23/Nov/2016 
1 130.193.50.17 – - [23/Nov/2016 
1 130.193.50.24 – - [23/Nov/2016 
1 130.193.51.18 – - [23/Nov/2016 
1 130.193.51.38 – - [23/Nov/2016 
1 130.193.51.40 – - [23/Nov/2016 
1 139.162.144.133 – - [23/Nov/2016 
1 141.8.132.20 – - [23/Nov/2016 
1 141.8.132.58 – - [23/Nov/2016 
1 141.8.142.11 – - [23/Nov/2016 
1 141.8.142.144 – - [23/Nov/2016 
1 141.8.183.11 – - [23/Nov/2016 
1 141.8.184.1 – - [23/Nov/2016 
1 146.0.199.122 – - [23/Nov/2016 
1 157.55.39.167 – - [23/Nov/2016 
1 163.172.64.177 – - [23/Nov/2016 
1 163.172.64.181 – - [23/Nov/2016 
1 163.172.64.186 – - [23/Nov/2016 
1 163.172.64.187 – - [23/Nov/2016 
1 163.172.64.216 – - [23/Nov/2016 
1 163.172.64.231 – - [23/Nov/2016 
1 163.172.64.235 – - [23/Nov/2016 
1 163.172.64.241 – - [23/Nov/2016 
1 163.172.64.243 – - [23/Nov/2016 
1 163.172.64.244 – - [23/Nov/2016 
1 163.172.64.246 – - [23/Nov/2016 
1 163.172.64.254 – - [23/Nov/2016 
1 163.172.65.10 – - [23/Nov/2016 
1 163.172.65.108 – - [23/Nov/2016 
1 163.172.65.109 – - [23/Nov/2016 
1 163.172.65.113 – - [23/Nov/2016 
1 163.172.65.114 – - [23/Nov/2016 
1 163.172.65.120 – - [23/Nov/2016 
1 163.172.65.124 – - [23/Nov/2016 
1 163.172.65.126 – - [23/Nov/2016 
1 163.172.65.127 – - [23/Nov/2016 
1 163.172.65.128 – - [23/Nov/2016 
1 163.172.65.130 – - [23/Nov/2016 
1 163.172.65.131 – - [23/Nov/2016 
1 163.172.65.14 – - [23/Nov/2016 
1 163.172.65.15 – - [23/Nov/2016 
1 163.172.65.16 – - [23/Nov/2016 
1 163.172.65.18 – - [23/Nov/2016 
1 163.172.65.184 – - [23/Nov/2016 
1 163.172.65.185 – - [23/Nov/2016 
1 163.172.65.187 – - [23/Nov/2016 
1 163.172.65.189 – - [23/Nov/2016 
1 163.172.65.194 – - [23/Nov/2016 
1 163.172.65.196 – - [23/Nov/2016 
1 163.172.65.199 – - [23/Nov/2016 
1 163.172.65.203 – - [23/Nov/2016 
1 163.172.65.205 – - [23/Nov/2016 
1 163.172.65.208 – - [23/Nov/2016 
1 163.172.65.215 – - [23/Nov/2016 
1 163.172.65.216 – - [23/Nov/2016 
1 163.172.65.217 – - [23/Nov/2016 
1 163.172.65.222 – - [23/Nov/2016 
1 163.172.65.225 – - [23/Nov/2016 
1 163.172.65.228 – - [23/Nov/2016 
1 163.172.65.229 – - [23/Nov/2016 
1 163.172.65.231 – - [23/Nov/2016 
1 163.172.65.232 – - [23/Nov/2016 
1 163.172.65.235 – - [23/Nov/2016 
1 163.172.65.243 – - [23/Nov/2016 
1 163.172.65.245 – - [23/Nov/2016 
1 163.172.65.247 – - [23/Nov/2016 
1 163.172.65.248 – - [23/Nov/2016 
1 163.172.65.249 – - [23/Nov/2016 
1 163.172.65.32 – - [23/Nov/2016 
1 163.172.65.34 – - [23/Nov/2016 
1 163.172.65.37 – - [23/Nov/2016 


Подсеть 93.158.152.0/24 принадлежит яндекс, тут можно снизить нагрузку с помощью robots.txt: 

yandex.ru/support/webmast... 

Настройке robots, для уменьшения нагрузки на сервер от запросов яндекс, написанная службой яндекс, по ней можно ориентироваться и устанавливать ограничения которые там указаны. 
yandex.ru/support/webmast... 
Опубликован 23.11.2016 в 19:09

Выберите способ верификации:

Обновите страницу после прохождения верификации.