python爬虫工程师岗位职责

岗位职责：
1.参与网页端及移动端爬虫系统的开发与维护工作；
2.设计合理的爬虫策略，优化抓取流程，提升数据抓取效率和质量；
3.研究并应对常见反爬机制，如 IP 限制、验证码、动态渲染等；
4.在开发过程中能独立分析问题并提出解决方案。
岗位要求：
1.熟悉 Python 编程语言，具备良好的编码习惯；
2.理解爬虫基本原理，有实际项目开发经验；
3.熟悉常见的反爬虫技术，如 IP 代理、User-Agent 伪装等；
4.掌握 HTTP 协议，了解 HTML、XPath、正则表达式等数据提取方式；
5.熟悉 Scrapy 或 Scrapy-Redis 爬虫框架的使用；
6.熟悉 Redis 的基本操作，了解其在爬虫中的应用场景；
7.了解 MySQL、Elasticsearch、Kafka 等数据库/中间件的基本使用；
8.有海外社交媒体等平台采集经验优先；

如岗位合适，可以直接加微信联系
岗位职责：
1、发挥创造性思维，用专业技术攻坚数据采集与应用难题；
2、用技术赋能数据采集，帮助数据产品经理稳靠把握数据情况，确保数据更新快、准、全；
3、设计搭建大规模分布式爬虫系统、大规模APP采集系统，以及其他相关服务系统；
4、分析开发效率瓶颈，利用devops手段，实现爬虫采集工具化、自动化、平台化，提高爬虫团队生产效率；
5、使用容器化技术，解决系统自动化部署及爬虫资源分配问题；
任职资格：
1、本科以上学历，计算机相关专业，熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识；
2、3年以上Linux 环境下常用语言（C/C++/JAVA/Python）开发经验，熟练使用常用 Linux 命令；
3、2年以上大规模网页爬虫开发经验，熟悉浏览器原理、前端 JS、AJAX；
4、深入了解前端JS反爬，能解决前端动态 JS 混淆问题；
5、深入了解非逆向、非侵入式手机APP采集方法；
6、熟悉了解容器化编排技术（swarm/k8s/mesos）；
7、熟练使用一门以上脚本语言（Python/Javascript）；
8、熟练使用一种以上的数据库（Mongodb/HBase/MySQL）；
9、有前后端或大数据项目开发经验优先；
10、有分布式系统设计开发落地经验优先。

职责描述：
根据工作安排负责相关数据的自动化采集抽取及清洗工作
参与分布式爬虫架构设计及研发
负责分析数据需求，快速确定数据采集方案按时交付结果
维护数据增量，保证数据质量
熟悉python，scrapy等主流爬虫框架
熟悉js逆向，熟悉html，css
理解分布式
常用数据库mongodb，redis等
任职要求：
1、本科学历 计算机专业
2、2年以上工作经验
3、项目经验丰富
4、工作积极主动，乐于接受挑战
福利待遇：
1、每月15号发放薪资 高档写字楼，配备中央空调，冰箱，微波炉，茶水间等设备
五险一金 不加班 法休
2、不定期团建，省内外旅游，奶茶福利，节日礼品
3、一经录，公司会提供完善的培训体系，让你尽快融入团队，帮助你更快有成绩
4、合肥本地甲级写字楼，工作环境佳，楼下美食街，公交站，地铁口，直达各大商圈