资深爬虫开发工程师（杭州）

岗位描述

1. 设计、开发、维护、重构分布式网络爬虫，采集并清洗结构化数据。
2. 负责持续运营和更新爬虫程序，识别和解决数据源变化和其他问题。
3. 爬虫性能优化，包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。
4. 能够统计和分析数据，与其他团队合作，如数据工程师、数据分析师协作，以确保数据采集系统的有效性和可靠性。
5. 本科及以上学历，计算机相关专业，至少2年及以上项目开发经验，扎实的技术理论基础，数据结构以及算法等；
6. 熟练掌握 Python编程语言，掌握 Selenium、Scrapy、PlayWright等框架的用法，熟悉任意开源爬虫框架。
7. 熟悉 HTML、JavaScr…