高级python爬虫工程师岗位职责

职位要求：

- 3年以上软件开发工作经验

- 工作认真负责，工作高效

- 工作热情高，积极主动，适应团队合作甚至跨团队沟通合作

- 自学能力强，有创新精神，能自己学习研究新技术，学习新技能



技术要求：

1. 计算机专业基础扎实，深入理解计算机网络，掌握http协议和熟练应用

2. 程序算法、数据结构基础扎实，编程功底扎实

3. 熟悉Linux 操作系统，能在Linux环境和命令行中熟练工作

4. 熟练掌握git 代码管理

5. 精通python编程，有熟悉的爬虫框架或工具，如Scrapy, Selenium, RPA 等



符合以下条件者优先：

- 有搜索系统开发经验

- 熟悉java 开发

- 有分布式系统开发经验

岗位职责
1.分布式爬虫系统架构与开发：负责设计、开发、优化及维护高性能分布式爬虫系统，支撑大规模、高并发数据抓取需求，确保系统的稳定性、高效性和可扩展性。负责网页信息抽取、清洗、消重和结构化处理，保证数据质量与采集效率。
2.逆向分析与协议破解（含Hook技术）：
1.Web端：深入研究并破解各类反爬机制，如JS混淆（OB、VMP）、加密算法、验证码等。精通JS Hook技术（如拦截 XMLHttpRequest、Fetch API、Cookie操作、环境检测函数等），以拦截关键函数、获取加密参数、修改浏览器环境，辅助逆向调试和协议还原。
2.移动端(APP)：负责对Android应用进行逆向分析（反编译、动态调试、代码还原）。熟练使用 Frida、Xposed 等工具进行APP内存数据Hook、函数调用拦截，破解通信协议，提取加密密钥或明文数据。研究核心业务逻辑，如协议分析、加密算法破解、风控机制对抗。
3.反爬虫策略设计与突破：研究各类反爬虫机制（验证码、IP封锁、动态渲染、请求限速等），制定针对性解决方案（如代理IP池构建、动态浏览器模拟、AI验证码识别、请求频率调控），提升抓取效率与成功率。
4.数据处理与业务支撑：开发自动化脚本（Python为主）实现数据采集、清洗、结构化提取与深度挖掘。结合业务需求输出数据价值建议，推动爬虫技术与业务场景深度结合。
任职要求
必备技能
1.学历与经验：本科及以上学历，计算机相关专业优先。5年及以上大规模爬虫/反爬经验，有大型分布式爬虫项目主导经验者优先。
2.爬虫与逆向核心能力：
(1)精通Python开发，熟练掌握Scrapy、requests、aiohttp、Selenium等爬虫框架和库。
(2)精通JS逆向：深刻理解JavaScript核心原理，能独立处理OB混淆、VMP加固、反调试等前端保护方案。
(3)精通Hook技术：深入理解Hook原理，具备实际Web端JS Hook（如Tampermonkey、浏览器插件注入）和移动端Hook（Frida、Xposed）项目经验，能实现对应用逻辑和系统函数的拦截与修改。
(4)精通网络协议：深刻理解HTTP/HTTPS/TCP/WebSocket等协议，精通Charles、Fiddler、mitmproxy、Wireshark等抓包分析工具。
3.移动端逆向能力：熟练掌握Android逆向常用工具（Jeb, Jadx, Frida, Xposed, Apktool）。熟悉ARM汇编，具备SO库分析和Native层代码逆向能力。掌握静态分析与动态调试技术，熟悉常见加密算法及逆向分析技巧。
4.架构与数据库：熟悉分布式系统架构、消息队列（如Kafka、RabbitMQ）及爬虫调度方案。熟练使用MySQL、MongoDB、Redis等数据库。
优先考虑
1.有成熟、可演示的逆向技术成果（如GitHub开源项目、含Fridahook脚本的APP逆向案例、复杂反爬攻克案例）。
2.熟悉WebAssembly (WASM) 的分析与调试，能处理WASM加密场景。
3.有移动端抓包经验，能独立绕过SSL Pinning（证书绑定）。
4.具备数据挖掘、机器学习基础，能将AI技术（如LLM、图像识别）融入反爬/数据处理场景者优先。
5.有数据库（如PostgreSQL）插件开发或Hook经验者优先。

内容：
python+Selenium开发，某东上的自己的店铺，给买家打折，太多操作不过来，需要弄一个插件来实现，这样节省时间。
已有其它家的插件：链接: https://pan.baidu.com/s/1V_dAiImOsp8b6uEgkPdCYA?pwd=fqix
需求：
1、使用其它浏览器插件来做，或者用python+selenium开发；
2、除了这个还有三个项也要开发，先做这一个；
请评估时间与费用。