北京 python 招聘（工资待遇要求）

一丶岗位职责：
1、设计并实现高性能的网络爬虫系统，针对目标网站进行数据抓取与解析
2、利用Python语言编写和优化爬虫脚本，解决反爬策略和技术难题，确保数据质量
3、根据需求制定合理的数据抓取计划，确保数据采集的质量和合规性
4、分析和监控爬虫系统的性能，优化资源利用率，提升数据抓取效率
5、负责采集监控平台crawlab的维护，以及采集相关服务器维护
6、与团队其他成员协作，完成数据集成、分析和可视化等工作
7、后续可能会有Pyspark或AIGC相关方向的python开发工作

二丶任职要求：
1、计算机相关专业本科及以上学历，至少1-3年的Python爬虫开发经验；
2、熟练掌握Python编程，熟悉Scrapy、BeautifulSoup、Requests、Selenium等常用爬虫框架和库；
3、具备良好的网络协议基础，理解HTTP/HTTPS原理，了解代理IP、Cookies、User-Agent等反爬机制；
4、熟悉数据库操作，如MySQL、MongoDB等，能够进行数据存储与管理；
5、熟练使用Linux操作系统，具备一定的Shell编程能力
6、对数据结构、算法有扎实的理解，具备一定的数据分析和数据清洗能力；
7、具备良好的职业道德，尊重并遵守相关法律法规，注重数据隐私保护；
8、优秀的学习能力和问题解决能力，能在压力下独立工作，同时也能良好地协同团队成员共同完成任务；

三丶加分项：
1、有分布式爬虫或大数据处理（如Hadoop、Hive、Spark）经验
2、英语读写能力强，能阅读英文技术文档者
3、了解算法/AIGC相关者
4、熟悉多线程、多进程、协程等并发编程技术

四丶岗位福利：
1、五险一金
2、电脑、电话补贴
4、法定节假日