← Все проекты

Парсинг и данные / 2016 - 2018 / Свой проект

Статистика Пикабу

5 млн постов и 95 млн комментариев: сбор, обработка и анализ данных.

Серия программ для сбора и анализа данных pikabu.ru. Ограничение запросов с одного IP обошёл через proxy и многопоточность, затем через API мобильного приложения: около 2500 постов в минуту.

Собраны данные за всё время существования сайта, получена персональная награда.