Приветствую всех! Сегодня расскажу о проекте нашей студенческой команды из СПбПУ, который нацелен на сбор и анализ данных о российском IT-рынке труда с использованием платформы hh.ru. Мы создали модульное асинхронное приложение на Python, сосредоточив внимание на производительности, устойчивости к ошибкам и аналитическом процессе.
Наша цель заключалась в том, чтобы перейти от предположений к фактам, собрав данные о вакансиях, обработав их и генерируя отчёты. Мы разработали систему, способную выполнять сложные агрегации и визуализацию, используя модульную архитектуру.
Ключевые компоненты включают асинхронный сборщик данных, менеджер базы данных и модуль анализа. Мы применили такие технологии, как httpx для асинхронных запросов и pandas для анализа данных, что позволило создать прозрачную и ремонтопригодную систему.
Результаты анализа показали, что рынок труда в IT-сфере в значительной степени сосредоточен вокруг крупных компаний, а востребованные технические навыки остаются предсказуемыми. Проект может быть полезен как для начинающих специалистов, так и для HR-аналитиков. Исходный код доступен на GitHub.