爬虫架构师岗位职责

工作职责：

1、负责Andriod/iOS/h5 App的加解密和数据传输分析、拆解、逆向等工作；

2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；

3、负责行业新技术的调研和实践。



任职要求：

1、5年以上大规模爬虫／反爬经验，3年以上前端/APP的逆向开发经验；

2、有解决复杂的反爬限制实践经验， 能解决如图片验证码／滑块／账号限制／ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先；

3、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，深入了解过技术原理且能独立完成主流电商平台和主流app软件大量级的数据抓取优先；

4、熟悉Java，C/C++，ARM汇编语言，andriod系统的原理，对ROM改造有一定的了解，有群控系统开发经验的优先；

5、熟悉网络安全攻防技术和工具以及各种常见攻防对抗及检测方法，且具有实际的红蓝军对抗经验；

6、具备较强的技术钻研和学习能力以及良好的沟通能力和团队协作精神。

职责描述：
1. 负责公司核心的爬虫服务的开发，架构的建设和持续优化，负责项目的开发管理工作；
2. 负责高性能，高并发的爬虫框架的迭代，熟悉scrapy, spider, webmagic等框架;
3. 负责搭建破解服务，训练模型解决人机识别，图像识别，滑块验证等问题；
4. 负责站点的反采集策略的工作，对包括网页，微信、APP 的数据采集进行效率优化；
5. 独立完成主管交付的任务；
岗位要求：
1.计算机相关专业，有5年以上开发经验；
2.有扎实的Python或Java基础知识和编程能力，精通一种开源数据采集框架。
3.有一定的多线程，异步编程经验；
4.熟悉掌握Mysql，Mongodb等主流数据库；
5.熟悉掌握Redis，熟悉掌握MQ，KafKa；
6.有后端接口开发经验，有解决高并发，请求优化的能力。熟悉vue前端加分；
7.有js 逆向经验，app逆向能力。

职责描述：
1、参与互联网大数据采集平台的建设，构建分布式爬虫框架，满足每天1000万短视频内容、1000万图片、1000万音乐下载量；
2、深刻理解分布式爬虫系统架构及微服务框架，实现分布式爬虫能力对外API能力输出。
3、负责分布式网络爬虫系统平台的微服务架构设计与开发
4、实现数据提取、清洗、结构化、入库、统计分析等需求；
5、建立爬虫监控体系，及时分析及解决爬虫在运行过程中出现的缺陷及数据质量优化提升；
6、研究优化算法，提升爬虫系统的稳定性、可扩展性；
7、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点攻克，以及海量数据存储、读取以及采集接口设计等，提升网页抓取的效率和质量；
8、破解主流视频网站和app的反爬机制，有一定逆向经验；
任职要求：
1、全日制本科及以上，5年以上爬虫开发经验，3年以上爬虫架构经验；
2、精通使用分布式基本知识，设计与开发爬虫系统架构；
3、精通使用爬虫相关技术，如：java、python, scrapy, selenium, xpath, 正则表达式 但不限于以上技术等,有有逆向经验尤佳；
4、精通高并发、高性能的分布式系统的设计及应用，熟悉常用数据存储，各种数据处理技术优先；
5、掌握分布式事务原理，掌控多种行之有效的分布式事务解决方案
6、熟悉Docker、K8S等容器技术
7、具有底层分布式微服务开发平台经验
8、对集群容错、负载均衡有深刻理解
9、具备较强的团队协作精神，工作责任心强，良好的沟通、理解、执行能力。