爬虫岗位职责

岗位职责：
1、参与分布式爬虫框架的研发；
2、负责网站大数据的采集工作；

任职要求：
1、本科及以上学历、计算机相关专业毕业，精通java；
2、有采集app、微博、微信等开发经验；
3、有验证码及滑块验证码经验者优先考虑；
4、对数据采集有丰富经验者优先考虑；
5、有大规模数据处理、数据挖掘、信息提取、浏览器原理、NLP等有经验者优先考虑；
6、具备很强的责任心和使命感，深信以数据来分析和优化业务、提供决策支持具有重要价值；
7、对数据敏感，工作细致，能在大量数据中发现规律和异常。
8、应届生7-10
9、入职公司名称：北京中科恒智科技股份有限公司，办公地点：中关村东路95号自动化大厦。

职责描述：
1.负责公司核心的爬虫服务的开发；持续优化性能和保证可用性，负责文档编写；
2.负责开发工商信息网站，工商信息网站的数据采集，熟悉scrapy，webmaigc;
3.负责研究xpath和网站的页面结构，分析网站的数据情况；
4. 负责企业公示系统，裁判文书，商标网一个或多个站点的反采集策略的定制，数据的采集实，包括网页，微信、APP 的数据采集和爬取优化；
5.独立完成主管交付的任务；
任职要求：
1.计算机相关专业，有3年以上开发经验；
2.有Java或者Python扎实的基础知识和编程能力；
3.有多线程，异步编程经验；
4.熟悉掌握Mysql，Mongodb等主流数据库；
5.熟悉掌握Redis，MQ，Kafka消息队列服务；
6.对于技术有好奇心，有js 逆向经验，app逆向能力。

职责描述：
1. 负责公司核心的爬虫服务的开发，架构的建设和持续优化，负责项目的开发管理工作；
2. 负责高性能，高并发的爬虫框架的迭代，熟悉scrapy, spider, webmagic等框架;
3. 负责搭建破解服务，训练模型解决人机识别，图像识别，滑块验证等问题；
4. 负责站点的反采集策略的工作，对包括网页，微信、APP 的数据采集进行效率优化；
5. 独立完成主管交付的任务；
岗位要求：
1.计算机相关专业，有5年以上开发经验；
2.有扎实的Python或Java基础知识和编程能力，精通一种开源数据采集框架。
3.有一定的多线程，异步编程经验；
4.熟悉掌握Mysql，Mongodb等主流数据库；
5.熟悉掌握Redis，熟悉掌握MQ，KafKa；
6.有后端接口开发经验，有解决高并发，请求优化的能力。熟悉vue前端加分；
7.有js 逆向经验，app逆向能力。