Duties
- Написание веб-пауков для парсинга сайтов, поддержание и фикс уже существующих парсеров;
- Парсинг сайтов с региональными ограничениями;
- Парсинг сайтов со встроенной капчей для верификации пользователя (reCAPTCHA, hCaptcha);
- Парсинг сайтов со встроенной защитой от ботового трафика (Datadome, Incapsula/Imperva, Amazon Cloudfront, Akamai);
- Исследование и внедрение новых способов парсинга для повышения качества и скорости сбора данных;
- Работа с высоконагруженными микросервисами для анализа и обработки больших объемов данных;
- Подготовка технической документации (confluence);
- Участие в командных Scrum-мероприятиях;
Technology stack
- Python 3.6;
- Scrapy;
- Splash;
- Selenium;
- Puppeteer;
- Django;
- PostgreSQL;
- RabbitMQ;
- Docker.
We offer
- Перспективы профессионального и карьерного роста;
- Молодой и дружный коллектив, постоянное обучение по продуктам компании; ∙ Стабильная заработная плата;
- Официальное трудоустройство по ТК РФ;
- График работы 5/2 с 9 до 18 или с 10 до 19, возможна удаленная работа по согласованию с руководителем.