南通 python 招聘（工资待遇要求）

岗位职责:
数据采集开发
设计并开发分布式爬虫系统，实现全球网站特定关键词数据的自动化采集
研究和突破各类反爬虫机制（验证码、IP限制、JavaScript加密等）
开发多语言网站爬虫，支持中英文及其他主要语言的数据采集
构建和维护代理IP池，确保爬虫的稳定运行
数据清洗处理
开发数据清洗管道，处理HTML标签、特殊字符、编码问题等
实现多语言文本的标准化处理（繁体转简体、大小写统一等）
构建数据去重和质量验证机制
开发实体识别和关键词提取功能
系统架构优化
设计和优化爬虫调度系统，支持千万级网页的并发采集
实现爬虫监控和告警系统，实时跟踪爬虫运行状态
优化数据存储方案，支持海量数据的高效存取

技术要求 - Python爬虫框架：Scrapy, Requests, Selenium, Playwright
- 数据解析：BeautifulSoup, lxml, PyQuery, 正则表达式
- 异步编程：asyncio, aiohttp, Celery
- 数据存储：MySQL, MongoDB, Redis, Elasticsearch
- 消息队列：RabbitMQ, Kafka
分布式爬虫​：有Scrapy-Redis、Scrapy-Cluster等分布式框架经验
​云服务​：熟悉AWS、Azure、Google Cloud的爬虫部署和运维
​容器化​：Docker, Kubernetes在爬虫项目中的应用经验

精通Pandas、NumPy进行数据清洗和预处理
熟悉自然语言处理（NLTK、spaCy、Jieba等）
有数据质量监控和异常检测经验
熟悉数据去重算法和相似度计算

有跨国网站数据采集经验，熟悉不同国家的法律法规