|
Предыдущая работа
|
Парсинг сайта "Статистика пикабу"
Просмотров: 85
Дата добавления: 14.10.19 в 16:19
Дата обновления: 14.10.19 в 16:32
Серия программ для сбора, обработки и анализа данных с сайта pikabu.ru. Экстремально большие объемы: 5млн единиц информации о постах, 95млн комментариев, 1200 постов в минуту.
Разработка велась с сентября 2016 по январь 2018 (данные собирались каждый месяц).
Своими силами, с помощью моральной поддержки пикабушников.
Достижения: Собрал данные за все время существования сайта, получил персональную награду, пост занимает первое место по количеству сохранений за все время существования сайта
Используемые технологии: Node.js + Nw.js, Request, Cheerio, Mongodb, Q, Node-cmd, Express, Socket.io, Nedb, Chart.js, Html, Css, Bootstrap, Vue.js + Element.js, Git
|
Следующая работа
|