爬虫岗位职责

岗位职责：
1、独立完成相关网站的数据采集任务，保障数据的准确性与时效性。
2、负责开发和维护相关etl项目，将数据集成至存储系统。
3、持续优化网页信息抽取规则，提高网页抓取效率、质量等问题。
4、持续监测数据采集系统的运行，及时发现及解决问题，维护日常采集任务。
5、愿意学习并深刻理解不动产行业相关业务。

任职要求：
1、统招本科及以上学历，计算机软件或相关专业。
2、两年及以上爬虫或大数据开发经验。
3、熟练使用Python、熟练使用linux操作系统、熟练使用关系型与非关系型数据库（mysql、mongodb、oracle等）。
4、熟悉网络抓取原理，对网络协议有一定的了解。
5、热爱编写程序，喜欢学习，对代码质量有高标准，对数据错误零容忍，乐于研究网站特点。
6、优秀的团队合作精神，能够在多个项目中有效沟通和协作。
7、加分项：熟练使用scrapy、crawlab等相关爬虫框架、有服务器运维与硬件维护方面经验、有js逆向相关经验

岗位职责
1.负责数据的采集，提取，清洗，入库以及日常维护等工作；
2.从非结构化页面里提取关键字段；形成高质量的数据输出；
3.实现对任务的定时调度，失败重试，数据校验等机制；
4.建立监控机制，实现任务状态，数据量等的监控与报警。


岗位要求
1.3-5年爬虫经验，熟悉爬虫原理，能够独立解决问题；
2.熟练掌握python，熟悉scrapy，Drissionpage等主流爬虫框架，
3.熟悉Redis、MySQL、PostgreSQL、Elasticsearch 、Kafka等常见的中间件；
4.熟练使用xpath，re，掌握异步IO编程优先；
5.有丰富的js逆向经验，能够解决复杂的验证码(滑块/点选)；
6.有代理池搭建经验，容器化部署经验(如Docker)以及linux的基础运维经验。
7.有独立负责过中大型采集项目者或有丰富数据提取经验者优先。
8.了解ai agent以及AI开发⼯具

岗位职责：1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；2、负责网页信息抽取、数据清洗等研发和优化工作；。任职资格：1、具有1年以上爬虫相关经验，熟悉验证码破解，动态IP等反爬相关技术；2、熟悉Linux平台开发，熟悉C#/Python/Java等编程语言中的至少一种；3、熟悉HTTP/Html/JavaScript等常见Web技术，模拟Web行为，从结构化的和非结构化的数据中获取信息和存储数据；4、熟悉HBase/MongoDB等优先；5、具有搜索相关技术研发经验者优先；6、具有数据挖掘经验、自然语言处理、信息检索、机器学习背景者优先；工作时间：9:00--17:30，周末双休薪资待遇：8000福利待遇：中餐补贴提供住宿免费交通车五险一金节假日休息工作地点：贵阳市白云区科教街188号世纪恒通信息产业园大楼联系方式：蒋老师：***********1447585698@QQ:**********