发现好公司 发现好客户
公司 工资 行业 专业 工作 百科 排行榜 找客户
工作 |
工作 公司 工资 专业

爬虫架构师岗位职责

  • 爬虫架构师 岗位职责来自 励销云

    򀀇
    职责描述:
    1. 负责公司核心的爬虫服务的开发,架构的建设和持续优化,负责项目的开发管理工作;
    2. 负责高性能,高并发的爬虫框架的迭代,熟悉scrapy, spider, webmagic等框架;
    3. 负责搭建破解服务,训练模型解决人机识别,图像识别,滑块验证等问题;
    4. 负责站点的反采集策略的工作,对包括网页,微信、APP 的数据采集进行效率优化;
    5. 独立完成主管交付的任务;
    岗位要求:
    1.计算机相关专业,有5年以上开发经验;
    2.有扎实的Python或Java基础知识和编程能力,精通一种开源数据采集框架。
    3.有一定的多线程,异步编程经验;
    4.熟悉掌握Mysql,Mongodb等主流数据库;
    5.熟悉掌握Redis,熟悉掌握MQ,KafKa;
    6.有后端接口开发经验,有解决高并发,请求优化的能力。熟悉vue前端加分;
    7.有js 逆向经验,app逆向能力。
    更新于 2026-10-22
  • 分布式微服务爬虫架构师 岗位职责来自 冠勇科技

    򀀇
    职责描述:
    1、参与互联网大数据采集平台的建设,构建分布式爬虫框架,满足每天1000万短视频内容、1000万图片、1000万音乐下载量;
    2、深刻理解分布式爬虫系统架构及微服务框架,实现分布式爬虫能力对外API能力输出。
    3、负责分布式网络爬虫系统平台的微服务架构设计与开发
    4、实现数据提取、清洗、结构化、入库、统计分析等需求;
    5、建立爬虫监控体系,及时分析及解决爬虫在运行过程中出现的缺陷及数据质量优化提升;
    6、研究优化算法,提升爬虫系统的稳定性、可扩展性;
    7、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,以及海量数据存储、读取以及采集接口设计等,提升网页抓取的效率和质量;
    8、破解主流视频网站和app的反爬机制,有一定逆向经验;
    任职要求:
    1、全日制本科及以上,5年以上爬虫开发经验,3年以上爬虫架构经验;
    2、精通使用分布式基本知识,设计与开发爬虫系统架构;
    3、精通使用爬虫相关技术,如:java、python, scrapy, selenium, xpath, 正则表达式 但不限于以上技术等,有有逆向经验尤佳;
    4、精通高并发、高性能的分布式系统的设计及应用,熟悉常用数据存储,各种数据处理技术优先;
    5、掌握分布式事务原理,掌控多种行之有效的分布式事务解决方案
    6、熟悉Docker、K8S等容器技术
    7、具有底层分布式微服务开发平台经验
    8、对集群容错、负载均衡有深刻理解
    9、具备较强的团队协作精神,工作责任心强,良好的沟通、理解、执行能力。
    更新于 2026-01-29
  • 爬虫架构师 岗位职责来自 阿芙精油

    򀀇
    核心职责
    1.负责将现有基于AI工具开发的多Agent智能体系统,部署至公司私有服务器或云平台,实现稳定、安全、可访问的企业级服务;
    2.搭建轻量级前后端架构,支持业务部门通过Web或APP使用智能体功能;
    3.与供应链各环节负责人(市场、采购、生产、仓储等)深度沟通,理解项目需求流程、原料/BOM管理、包材规格、生产周期、交付节奏等关键业务逻辑,并将其转化为系统可执行规则;
    4.协同AI/数据团队优化Agent提示工程(PromptEngineering)、工具调用(FunctionCalling)及记忆机制,提升系统在真实业务场景中的准确性与可用性;
    5.探索与ERP、WMS、MES等现有系统的集成可能性,推动智能体逐步嵌入企业数字化流程。
    我们希望你具备
    ✅硬性要求:
    能独立搭建Linux服务器环境,熟悉Docker、Nginx、数据库(PostgreSQL/MySQL等)及基础运维;
    有实际部署Web服务或内部工具的经验(哪怕只是个人项目);
    具备Python后端开发能力,了解RESTfulAPI、异步任务、权限控制等基本概念;
    对AIAgent、LLM应用(如LangChain、LlamaIndex、AutoGen等)有实践兴趣或项目经验;
    *核心的:可以将cursor等其他AI平台的Agent,从0-1独立搭建网页端和手机端的应用,落地。
    ✅加分项:
    有化妆品、快消品、OEM代工厂、生产制造相关行业经验,熟悉从接单→原料采购→包材配套→生产排产→出货交
    付的完整链条;
    了解BOM(物料清单)、MOQ(*小起订量)、LeadTime(交期)、库存周转等供应链核心指标;
    能快速自学新工具(如Cursor、n8n、Make等低代码/AI平台),并用于解决实际问题;
    有前端基础(HTML/CSS/JS或Vue/React)者优先,能独立完成简单交互界面更佳。
    特别说明:如有个人部署的Demo、GitHub项目、或对化妆品供应链的理解简述,请一并附上!
    更新于 2026-03-18

招聘学历要求:本科最多

爬虫架构师需要什么学历?本科占比最多,占85.7%,不限占14.3%

按学历统计

说明:爬虫架构师工资按学历统计,本科工资¥27.5K

招聘经验要求:5-10年最多

爬虫架构师经验要求高吗?5-10年占比最多,占57.1%,3-5年占28.6%,不限占14.3%

按经验统计

说明:爬虫架构师工资按经验统计,3-5年工资¥32.5K,5-10年工资¥28.8K

爬虫架构师工资待遇怎么样

薪酬区间: 20-50K,其中100%的岗位拿¥20-50K/月,年薪¥24-60W

数据统计来自近一年 7 份样本,截至 2026-11-18

¥20-50K
100%的岗位拿
¥29.3K
月平均工资

说明:爬虫架构师一个月多少钱?数据统计依赖于各平台发布的公开薪酬,仅供参考。

职业培训
客服
由百度提供