tgoop.com/data_bar/55
Last Update:
Зарплаты аналитиков в США и парсинг Glassdoor
Про зарплаты в русскоязычном секторе IT я писал месяц назад. Дашборд по данным Getmatch ушёл в народ, его опубликовал Getmatch в своём блоге, много отзывов прилетело. В целом, инструмент оценки вакансий и зарплатных вилок получился неплохой, там около 10 000 просмотров, и каждый день его мониторят. Данные обновляются каждые 2 недели.
Поэтому интересно посмотреть что по вакансиям и ЗП в других странах. Один из топов ресурсов поиска работы - портал Glassdoor.com. Первоначально, идея Glassdoor была в шеринге зарплат - ты говоришь свою ЗП, тебе дают доступ до ЗП других людей, естественно, усредненных. То есть, можно примерно понять по отрасли вилку. На этой идее сервис сильно вырос. Интересно сейчас почитать статью на Хабре от 2008 года, когда Glassdoor ещё был стартапом.
Glassdoor cейчас - огромная система с оценками работодателей по разным критериям и множеством вакансий по всему миру. Тем интереснее было посмотреть не только зарплатные вилки, но и оценки компаний.
Решил собрать зарплаты Data Analyst в США на основе опубликованных вакансий, разделить из по штатам, городам, отраслям, секторам экономики, оценкам компаний и т.д.. Открытых данных с такой детализацией не нашел, поэтому, собирал сам. Web Scraping больших порталов обычно сложнее, чем стандартных сайтов. Приходится обходить защиты от скрейпинга. Использовал Playwright и подключение к Хрому в debug режиме.
В итоге, собрал около 7000 открытых вакансий с описанием. На kaggle подобной детализации нет, поэтому, причешу и закину туда на праздниках.
Для США зарплаты указываются в Gross, то есть, без учета налогов. В разных вакансиях платят по дням, месяцам или же указаны годовые суммы.
Сделал дашборд в Tableau 'Glassdoor Data Analyst Jobs' (вакансии только с зарплатами), там суммы пересчитываются, и можно смотреть нормализованные ЗП в день, месяц или год. В дашборде есть зарплатные вилки, много категорий по которым можно фильтроваться, диаграммы распределений и HEX карта США, где можно посмотреть в каком штате выше ЗП. Можно менять грануляцию данных, сравнивать отрасли, компании (Apple и Amazon например).
Есть ещё рейтинги компаний по разным условиям, рейтинги CEO и др. Детально можно смотреть таблицу с вакансиями и переходить на страницу вакансии. В общем, в разных разрезах можно много всего посмотреть.
Из техники: сделал диаграмму рейтингов со звездами как на сайте, поигрался с фоном дашборда - его можно менять. Немного попробовал Glassmorphism в UI.
Несколько цифр:
- Средняя почасовая ЗП - $45
- Максимальная почасовая ЗП - $150
- Средняя месячная ЗП - $7053
- Средняя годовая ЗП - $94899
- Максимальная годовая ЗП - $388000
Для поиска других инсайтов фильтруйтесь в даше.
Скрейпер и парсер ещё буду оптимизировать. Дашборд тоже планирую развивать и обновлять данные раз в 2 недели. И можно будет пособирать данные по вакансиям DS и DE, например.
BY Data Bar
Share with your friend now:
tgoop.com/data_bar/55