Многопоточные парсеры веб-сайтов (crawlers). Некоторые работают со статикой, другие с динамикой и javascript. Ищут требуемую информацию, сохраняют во внутреннюю базу и потом выгружают в требуемом формате, например, Microsoft Excel или json.