武汉 python 招聘（工资待遇要求）

岗位职责：
1.负责设计和开发高可用、高性能的分布式爬虫系统，专注于抓取全球主流电商平台（如Amazon, eBay, Wish, Shopee, Lazada等）及独立站的多维度数据，包括商品信息、价格、销量、用户评论、店铺排名、物流政策等。
2.建立完整的数据获取、清洗、去重、解析、入库和监控流程，确保海量跨国数据的准确性、时效性与一致性，为市场分析、竞品监控、智能定价等业务提供核心数据支持。
3.实时监控爬虫系统的全球运行状态，快速应对因地域、网络、平台策略差异导致的各类问题（如IP封锁、验证码、动态内容加载、法律合规风险等）。
4.深入研究海外电商平台复杂的反爬虫机制（如AWS Shield, Distil Networks等），设计并实施高效、隐蔽且合规的应对策略，保障数据采集的长期稳定。
5.根据电商业务需求，快速响应并完成数据支持任务，为产品运营、竞品分析等提供高质量数据支撑，如跟踪特定竞品动态、分析新兴市场趋势、监控渠道价格等。
6.关注数据采集的合规性，确保爬虫行为遵守目标网站的规定及国际数据隐私法规（如GDPR）。
7.具备一定的JS逆向能力，能熟练分析并处理前端加密、混淆、签名机制（如Webpack加密、OB混淆、参数签名等），逆向解析关键接口的加密逻辑，并实现可靠的模拟算法。

任职要求：
1.2年以上爬虫或数据采集相关工作经验，计算机、软件工程等相关专业本科及以上学历。有跨境电商或国际化业务数据支持经验者优先。
2.精通Python编程语言，熟练运用Scrapy、Selenium/Playwright、Requests等主流爬虫框架和工具，具备处理JavaScript动态渲染页面的丰富经验。
3.具备扎实的JS逆向工程能力，熟练掌握浏览器调试工具、Node.js、Hook技术及常用逆向工具（如Charles、Fiddler、Chrome DevTools）。
能够独立完成对复杂JavaScript代码的逆向分析，还原加密参数生成逻辑，并编写Python代码进行复现。
4.熟悉海外网站及电商平台常见的反爬虫技术，并具备成功的绕过经验。了解代理IP池（特别是海外高质量代理）、用户代理模拟等技术的实际应用。
5.熟悉数据库技术（如MySQL, MongoDB, Redis），能够设计和优化适用于海量异构电商数据的存储方案。
6.具备分布式系统开发经验，熟悉Docker、Kubernetes、消息队列（如Kafka）等技术者优先，能够构建可扩展的全球化数据采集系统。
7.具备良好的英文文档阅读能力，能够快速理解和适应国外网站的技术架构。拥有强烈的责任心、出色的解决问题能力和团队协作精神，能适应快速变化的跨境业务需求。