Написать поискового робота под Linux

Бюджет: по договоренности
Требуется написать софт, который бы работал беспрерывно под управление CentOS.
Задач у софта несколько:

1. Бродить по интернету в поисках новых доменов (возможно задать ему несколько тысяч для старта, а дальше пусть сам)
2. Проверять найденные домены (делать несколько гет-запросов или парсить некоторое содержимое главной страницы).
3. Укладывать найденные результаты в файлы или в базу. Например файл с общим списком всех найденных доменов и файлы в которых эти домены разбиты на критерии.

Мне не нужен Яндекс или Google, мне нужен простенький поисковый бот.
Опубликован 21.06.2016 в 01:04

Выберите способ верификации:

Обновите страницу после прохождения верификации.