python爬虫岗位职责

岗位职责：
1.参与网页端及移动端爬虫系统的开发与维护工作；
2.设计合理的爬虫策略，优化抓取流程，提升数据抓取效率和质量；
3.研究并应对常见反爬机制，如 IP 限制、验证码、动态渲染等；
4.在开发过程中能独立分析问题并提出解决方案。
岗位要求：
1.熟悉 Python 编程语言，具备良好的编码习惯；
2.理解爬虫基本原理，有实际项目开发经验；
3.熟悉常见的反爬虫技术，如 IP 代理、User-Agent 伪装等；
4.掌握 HTTP 协议，了解 HTML、XPath、正则表达式等数据提取方式；
5.熟悉 Scrapy 或 Scrapy-Redis 爬虫框架的使用；
6.熟悉 Redis 的基本操作，了解其在爬虫中的应用场景；
7.了解 MySQL、Elasticsearch、Kafka 等数据库/中间件的基本使用；
8.有海外社交媒体等平台采集经验优先；

职责描述：
根据工作安排负责相关数据的自动化采集抽取及清洗工作
参与分布式爬虫架构设计及研发
负责分析数据需求，快速确定数据采集方案按时交付结果
维护数据增量，保证数据质量
熟悉python，scrapy等主流爬虫框架
熟悉js逆向，熟悉html，css
理解分布式
常用数据库mongodb，redis等
任职要求：
1、本科学历 计算机专业
2、2年以上工作经验
3、项目经验丰富
4、工作积极主动，乐于接受挑战
福利待遇：
1、每月15号发放薪资 高档写字楼，配备中央空调，冰箱，微波炉，茶水间等设备
五险一金 不加班 法休
2、不定期团建，省内外旅游，奶茶福利，节日礼品
3、一经录，公司会提供完善的培训体系，让你尽快融入团队，帮助你更快有成绩
4、合肥本地甲级写字楼，工作环境佳，楼下美食街，公交站，地铁口，直达各大商圈

岗位职责：
1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等；
2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等等；
3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略；
4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
5、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性；
6、能独立解决实际开发过程碰到的各类问题。
岗位要求：
1、本科及以上学历，计算机相关专业；
2、至少3年及以上爬虫经验；
3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力；
4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先；
5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究；
6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术；
7、熟悉常用网络协议、数据存储和数据处理技术；
8、熟悉linux系统环境、命令，shell、python脚本编写；
9、有电商网站、电商APP采集经验优先；
10、有机票行业从业经验优先。