一、职位描述
1、对指定的多个网站进行网页抓取、数据提取；负责网络数据抓取规划、清洗以及汇总的开发工作；
2、负责特殊网页采集任务的分析及采集方案设计；
3、参与爬虫架构设计和研发，满足产品中数据抓取的要求；
4、参与爬虫核心算法和策略优化研究；
5、抓取调度和策略优化，实时监控爬虫的进度和警报反馈；
6、爬虫核心系统, 数据平台的研发维护。
二、职位要求
1、 本科及以上学历，计算机相关专业；3年以上开发经验，2年以上Hadoop相关工作经验；
2、具有数据挖掘、信息检索、机器学习开发经验；
3、精通HTML语言，熟悉JS，Ajax，熟悉Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy、Crawler4j、WebMagic、WebCollector等开源工具；
4、精通网页抓取原理及技术，从结构化的和非结构化的数据中获取信息；
5、熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL/R语言 等)；
6、熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等)；
7、精通网络编程，熟悉HTTP传输协议，能模拟浏览器操作爬虫；
8、有丰富Java /Python开发经验者优先；熟悉MySQL、Oracle及有集群数据库开发经验者优先。
9、具备web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抽取的经验。以解决技术难题为乐，对程序完美有偏执追求；具有团队精神，有想法，敢于挑战自我。
