发现好公司 发现好客户
公司 工资 行业 专业 工作 百科 排行榜 找客户
工作 |
工作 公司 工资 专业

爬虫岗位职责

  • 爬虫开发工程师 岗位职责来自 冠勇科技

    򀀇
    一、基础要求
    ‌学历与经验‌
    本科及以上学历,计算机相关专业优先;
    3年以上Java开发经验,具备高并发或分布式系统实战经历者优先。

    ‌核心能力‌
    熟练掌握Java语言核心特性(包括集合框架、多线程编程、JVM性能调优);
    了解常用设计模式,如工厂模式、策略模式、观察者模式等,并能在实际项目中合理应用。

    ‌二、技术栈要求‌
    ‌框架与工具‌
    ‌后端框架‌:熟练使用Spring Boot、Spring Cloud(含Alibaba组件)、MyBatis;
    ‌中间件‌:熟悉Redis(用于缓存管理及分布式锁实现)、RabbitMQ或Kafka(消息中间件应用);
    ‌数据库‌:熟悉MySQL,具备索引优化与SQL调优能力;
    前端技能:理解网页DOM结构,掌握JavaScript开发,有谷歌浏览器插件开发经验者优先。

    工作内容
    1. 负责企业级爬虫系统的数据采集与集成,保障日常采集任务稳定运行;
    2. 承担公司采集类浏览器插件的开发、迭代与后续维护工作。
    【工作内容】1. 负责企业级爬虫系统的数据采集与集成,保障日常采集任务稳定运行;2. 承担公司采集类浏览器插件的开发、迭代与后续维护工作。
    【基本条件】本科及以上学历,计算机相关专业优先;3年以上Java开发经验,具备高并发或分布式系统实战经历者优先。熟练掌握Java语言核心特性(包括集合框架、多线程编程、JVM性能调优);了解常用设计模式,如工厂模式、策略模式、观察者模式等,并能在实际项目中合理应用。熟练使用Spring Boot、Spring Cloud(含Alibaba组件)、MyBatis;熟悉Redis(用于缓存管理及分布式锁实现)、RabbitMQ或Kafka(消息中间件应用);熟悉MySQL,具备索引优化与SQL调优能力;理解网页DOM结构,掌握JavaScript开发,有谷歌浏览器插件开发经验者优先。身体素质、健康程度不限。
    更新于 2026-11-16
  • 爬虫工程师 岗位职责来自 盯潮

    򀀇
    【工作职责】
    1. 负责构建高可用的分布式爬虫架构,同时搭建配套的数据分析与实时监控体系。
    2. 深入研究各类网站的安全防护机制及反爬策略,总结并沉淀核心技术方案。
    3. 应对复杂技术难题,突破协议层反爬、风控拦截、人机验证等关键技术瓶颈。
    4. 使用Golang/Python/Rust等编程语言进行系统开发,持续提升全栈技术能力。
    5. 参与正向风控系统的联合研发,攻关网页自动化交互、解锁工具等核心技术。
    6. 诚邀技术高手加入,专注领域涵盖数据采集、工具研发、安全攻防、AI Agent与自动化流程;业务发展稳健,现金流良好,具备充足的增长空间和创新机会

    【任职要求】
    1. 熟悉Python语言及计算机网络原理,熟练使用多线程编程,掌握主流爬虫框架的实际应用。
    2. 掌握JavaScript逆向相关技术,包括虚拟机机制、代码混淆处理、抽象语法树(AST)解析,并具备实际项目经验。
    3. 具备网络链路分析能力,能处理代理流量,熟悉TLS/HTTP2协议识别、IP特征分析等场景。
    4. 熟悉常见浏览器指纹对抗手段,了解其生成逻辑与绕过方式。
    5. 具备基础机器学习知识,能够应用于图像验证码识别、简单的人机行为判别等任务。
    6. 熟练使用wireshark、tcpdump等抓包工具,理解主流网络协议底层机制。
    7. 熟悉Golang语言,有基于该语言的项目实践经验,具备良好的工程化开发习惯。
    8. 掌握Redis、MySQL、MongoDB等数据库技术,具备SQL或NoSQL的实际操作经验。
    9. 了解分布式消息队列、中间件等基础架构组件的设计与应用场景。
    10. 熟悉devops理念,了解微服务架构及相关技术组件,如Docker、Kubernetes、Jenkins等工具

    【你将收获】
    1. 加入一个富有激情、目标明确、倡导创新的技术团队
    2. 积累全球视野下的技术实战经验,接触前沿技术发展方向
    3. 享有清晰的职业成长通道和充分的晋升发展机会
    【工作内容】1. 负责构建高可用的分布式爬虫架构,同时搭建配套的数据分析与实时监控体系。
    2. 深入研究各类网站的安全防护机制及反爬策略,总结并沉淀核心技术方案。
    3. 应对复杂技术难题,突破协议层反爬、风控拦截、人机验证等关键技术瓶颈。
    4. 使用Golang/Python/Rust等编程语言进行系统开发,持续提升全栈技术能力。
    5. 参与正向风控系统的联合研发,攻关网页自动化交互、解锁工具等核心技术。
    6. 诚邀技术高手加入,专注领域涵盖数据采集、工具研发、安全攻防、AI Agent与自动化流程;业务发展稳健,现金流良好,具备充足的增长空间和创新机会
    【基本条件】1. 熟悉Python语言及计算机网络原理,熟练使用多线程编程,掌握主流爬虫框架的实际应用。
    2. 掌握JavaScript逆向相关技术,包括虚拟机机制、代码混淆处理、抽象语法树(AST)解析,并具备实际项目经验。
    3. 具备网络链路分析能力,能处理代理流量,熟悉TLS/HTTP2协议识别、IP特征分析等场景。
    4. 熟悉常见浏览器指纹对抗手段,了解其生成逻辑与绕过方式。
    5. 具备基础机器学习知识,能够应用于图像验证码识别、简单的人机行为判别等任务。
    6. 熟练使用wireshark、tcpdump等抓包工具,理解主流网络协议底层机制。
    7. 熟悉Golang语言,有基于该语言的项目实践经验,具备良好的工程化开发习惯。
    8. 掌握Redis、MySQL、MongoDB等数据库技术,具备SQL或NoSQL的实际操作经验。
    9. 了解分布式消息队列、中间件等基础架构组件的设计与应用场景。
    10. 熟悉devops理念,了解微服务架构及相关技术组件,如Docker、Kubernetes、Jenkins等工具
    更新于 2026-11-15
  • 爬虫工程师 岗位职责来自 北京新联财通咨询有限公司

    򀀇
    岗位职责
    1、负责公司爬虫核心算法的研究及爬虫策略的持续优化;
    2、负责移动端数据采集功能的开发与落地实施;
    3、掌握主流反爬机制及其对应的解决方案;
    4、具备逆向工程相关背景或实际项目经验。

    任职要求
    1、掌握常见加密算法,熟练使用Frida、Xposed框架;
    2、熟悉Android应用中apk及so文件的逆向分析流程,掌握HOOK技术、加解密原理,以及常用逆向工具的操作;
    3、熟练运用jadx、IDAPro、Ghidra、OllyDbg等逆向工具,擅长安卓平台逆向分析,掌握静态与动态分析技术,可独立完成软件逆向任务;
    4、精通Python、C/C++、JAVA编程语言,具备汇编语言基础;
    5、具有电商领域数据抓取相关实践经验。
    【工作内容】1、负责公司爬虫核心算法的研究及爬虫策略的持续优化;2、负责移动端数据采集功能的开发与落地实施;3、掌握主流反爬机制及其对应的解决方案;4、具备逆向工程相关背景或实际项目经验。
    【基本条件】1、掌握常见加密算法,熟练使用Frida、Xposed框架;2、熟悉Android应用中apk及so文件的逆向分析流程,掌握HOOK技术、加解密原理,以及常用逆向工具的操作;3、熟练运用jadx、IDAPro、Ghidra、OllyDbg等逆向工具,擅长安卓平台逆向分析,掌握静态与动态分析技术,可独立完成软件逆向任务;4、精通Python、C/C++、JAVA编程语言,具备汇编语言基础;5、具有电商领域数据抓取相关实践经验。
    更新于 2026-11-15
  • Java中级爬虫开发工程师 岗位职责来自 冠勇科技

    򀀩
  • Python(爬虫) 岗位职责来自 宜宾时天科技有限公司

    򀀩
  • Python爬虫开发工程师 岗位职责来自 宜宾时天科技有限公司

    򀀩
  • 大数据工程师(数据采集/爬虫) (MJ000937) 岗位职责来自 海博思创

    򀀩
  • 爬虫工程师 岗位职责来自 高手脉

    򀀩
  • 爬虫工程师 岗位职责来自 法本信息

    򀀩
  • Python爬虫开发工程师 岗位职责来自 立讯智造(浙江)有限公司

    򀀩
加载更多

招聘学历要求:本科最多

爬虫需要什么学历?高中(含中专,中技)占0.2%,大专占19.1%……想知道其他学历占比多少,请点击查看

按学历统计

说明:薪资一般与学历正相关,一般学历越高,工资越高。爬虫工资按学历统计,中专工资¥29.0K,想知道其他学历工资,请点击查看

招聘经验要求:3-5年最多

爬虫经验要求高吗?应届生占0.6%,1-3年占24.9%……想知道其他经验占比多少,请点击查看

按经验统计

说明:工作经验是影响工资水平的重要因素,一般经验越丰富工资越高。爬虫工资按经验统计,应届生工资¥5.0K,想知道其他经验工资,请点击查看

爬虫工资待遇怎么样

薪酬区间: 4.5-50K,其中63.5%的岗位拿¥10-30K/月,年薪¥12-36W

数据统计来自近一年 2553 份样本,截至 2026-11-18

¥10-30K
63.5%的岗位拿
?
月平均工资
年薪统计

说明:爬虫一个月多少钱?数据统计依赖于各平台发布的公开薪酬,仅供参考。

全国排名: 人工智能 / 软件 /
教育培训-其他
客服
由百度提供