Написание парсера для сайта

Необходимо написать парсер для сайта, доступного в свободном доступе. Парсер должен будет обойти примерно 20000 страниц, ссылки на которые надо будет извлечь с сайта, и сохранить данные в формате .csv. Данные представляют собой или просто текст, или текст, внутри которого находятся ссылки на формулы-картинке в формате latex, и текст плюс картинка, или текст и таблица html. Ссылки на картинки нужно сохранить просто как ссылки.
Результатом работы должен быть и сам парсер с исходным кодом, и файл csv с выкачанными данными (потом с помощью парсера мы должны иметь возможность их обновлять, просто запуская парсер снова и получая новый csv файл). Время, за которое парсер должен обходить сайт, не ограничено, но желательно, чтобы он обходит сайт за один день.