Модуль perl для скачивания информации с сайтов, использующих различные методы блокирования роботов-пауков.
Использует максимально похожие на браузерные методы работы с сайтами.
все стандартные заголовки браузеров;
работа с cookie;
keep-alive соединения;
поддержка кеширования if-modified-since;
поддержка сжатого контента;
поддежка работы через различные типы прокси-серверов;
и т.п.