Программа должна парсить прокси (нужны украинские) и просматривать сайты (эмуляция человеческого поведения). Прога должна быть расчитана на счетчики bigmir.net, google analitics, LiveInternet, Яндекс Метрику и др.
1. Многопоточный парсер – парсер поисковых систем на прокси, работа со списками прокси и адресов со списками прокси (поиск и проверка на валидность).
Прописать подмену proxy/useragent «на лету».
Для смены Мак-адреса – подключить/или заложить принцип смены мака на подобии проги A-mac Address Change или иной подобной (прячем железо) "на лету".
Поставить антикапчу для поисковиков.
Парсер поиска (забиваем работающий прокси по украине – и он ищет в страницы с такими прокси) и найденные страницы должен парсить + чекер прокси под поиск Гугл + чекер прокси обычный (для захода на наш сайт).
Принцип парсера гугла можно взять отсюда:
По описанию еще вот этот понравился:
Список для примера:
Или вот еще список прокси:
Первые найденные прокси подставляются для поиска других прокси.
Сделать Буфер дохлых урлов (если списки прокси не обновляются). Прокси сортировать по странам, городам
Поставить сбор отсюда (по крайней мере здесь прокси обновляются + можете добавить свои источники):
spys.ru/proxys/UA/ – показывает 25, но если нажать кнопку "Показать 100" – вываливает 100 украинских прокси.
px.at.ua/
xseo.in/freeproxy
2.Просмотр сайта с использованием прокси (нечто похожее на TopGen
или RateMeUp)
-Установка страны, города для прокси.
-Прописываем пути: Одна или несколько точек входа – затем обязательные страницы (можем при необходимости пропустить), а далее 5-20 страниц, которые рендомно нужно просмотреть
-Просмотрел, сменил прокси, почистил куки, сменили Мак-адрес, представился другим браузером – и просматриваем по новому пути
-На сайте есть важные страницы и не очень важные. Поэтому страницы 3-4 уровня вложенности будут отличаться количеством просмотров – в задаваемых коэффициентах по каждой странице (задаем вручную). Например, коеф. 0.7, 1.0, 1.5, 2.0.
-Параллельно ведем логи за текущие календарные сутки с 00:00 по Украине по просмотренным страницам (чтобы просмотры проходили равномерно по всем страницам, с учетом погрешности 5-15%).
-Нужно, чтобы представлялся, откуда перешел на сайт – из закладок, из поисковиков, с соц.сетей...(нужен перечень, чтобы указать в % откуда сколько, например, из закладок – 20%, из Google.com.ua – 45%, Yandex.ua – 20%, Mail.ru – 8%, BK – 7%, другие сайты с нашими ссылками).
-Если из поисковиков – нужно указать для каких точек входа какие запросы
-Если прокси тормозит – меняем прокси
- Еще желательно эмулировать движения мышкой (перемещение, выделение текста и т.п.)
В настройках – вышеуказанные пункты, а также:
1.Количество просмотренных страниц (например от 5 до 20)
2.Время просмотра каждой страницы (например от 10 до 50 сек)
3.Планируемый суточный трафик хостов общий по сайту – это математический показатель планируемого трафика за сутки (на видном месте программы), исходя из настроек по просмотрам страниц
4. Рядом – фактический трафик по всему сайту за текущие сутки (суммарный показатель нескольких запущенных программ на разных ПК)
5.Среднее количество просмотров страниц 3-4 уровня за сутки (это значение коэф=1, например, 100 хостов на каждую страницу, +/-5-10%)
6.Если на просматриваемой странице 3-4 уровня есть внешняя ссылка – в 5-10% (задается в параметрах) показываем переход с нашего сайта. Адреса страниц для просмотра внешнего сайта прописываем (их будет 2-4). Здесь логи ведем за 31 день (нужно максимально показать уникальные хосты).
7.Время работы по дням недели и времени в сутках (чтобы можно было регулировать трафик вручную)
например время: с 22 до 8 – 10% суточного трафика, с 8 до 12 – 15%, с 12 до 19 – 60%, с 19 до 22 – 15%)
дни недели: Пн – коэф.1, вт – коэф.0.8, ср – коэф. 1.1, чт. – 1, пт. – 1, сб – 0.8, вс – 0.7
В программе максимально прописать все вышеперечисленные опции, чтобы можно было выставлять в настройках, и в код не лазить.
Должна быть многопоточность, т.е. одновременная работа разными IP, прокси.
Прога должна быть расчитана на счетчики bigmir.net, google analitics, LiveInternet, Яндекс метрику и др.(как для нашего сайта, так и для внешних сайтов)
Этих прог должно быть 2-3, на разных компах. Но они должны вести общую статистику (кто что просмотрел), чтобы в случае падения инета или других проблем на одном компе, другие отработали за неработающую прогу.
В общем, нужен подход "с головой", если я что-то не учел – поправьте меня