北京云锐科技集团 python 招聘（工资待遇要求）

爬虫工程师（定向爬虫）
职位描述
岗位职责
1. 定向爬虫开发：针对指定垂直网站（如电商、社交、招聘、新闻等）进行精准数据采集，完成从页面解析、字段提取到结构化落地的全流程开发。
2. 反爬与风控对抗：分析目标站点的反爬机制（如动态 token、请求参数加密、滑块/图形验证码、IP 频率封禁等），设计并实现代理轮换、请求模拟、降速绕行等解决方案。
3. 动态内容处理：针对 SPA 或强 JS 渲染页面，使用 Selenium / Playwright / Puppeteer 等浏览器自动化方案完成数据抓取，平衡抓取效率与资源开销。
4. 数据存储与清洗： 对抓取的视频进行 MD5 去重校验，将视频文件安全落地至指定的存储介质（如 NAS/OSS），并将元数据结构化写入 MySQL / MongoDB。
5. 稳定性与效率优化： 优化视频大文件的并发下载逻辑，提升网络带宽利用率；建立抓取任务日志与告警机制，保障脚本的长期稳定运行。
职位要求
职位要求
- 本科及以上学历，计算机相关专业，具备扎实的计算机网络与前端基础知识（HTML/CSS/JS/DOM 结构）。
- 精通 Python，有 2 年以上实际爬虫开发经验（接受优秀应届生或培训经历但项目经验丰富者），至少独立完成过 3 个以上垂直站点的定向抓取项目。
- 熟练使用 Requests / Scrapy / BeautifulSoup / lxml 等常规爬虫工具，并能熟练运用 XPath 与 CSS 选择器进行复杂页面解析。
- 深入理解 HTTP/HTTPS 协议，能通过抓包工具（Chrome DevTools / Fiddler / Charles）分析请求链路、Cookie、Header 及常见的参数加密逻辑（如简单 sign、timestamp 等）。
- 具备实际的反爬对抗经验，能解决以下至少两类问题：
- UA / IP 代理池动态切换
- 请求频率控制与随机延迟
- 登录态维持与 session 管理
- 验证码识别（OCR / 打码平台）
- 动态 token 的生成规则逆向（非强加密场景）
- 熟练使用多线程/异步（asyncio, aiohttp）等技术提升下载吞吐量；熟练掌握至少一种数据库（MySQL / MongoDB）进行数据索引与去重。
加分项
1. 熟悉 m3u8、DASH 等常见流媒体传输协议及音视频封装格式的处理（如 FFMPEG 的结合使用）。
2. 有过 TB 级别以上大文件并发下载或清洗项目的实操经验。