深圳 python 招聘（工资待遇要求）

岗位职责：
1、学术数据采集系统构建：负责设计和开发稳定、高效的分布式采集系统，专注于从公开数据来源获取文本和结构化数据。
2、数据解析与结构化：负责对采集到的非结构化/半结构化数据进行深度解析、关键信息提取（如作者、机构、引用关系、实验数据等），并将其转化为高质量的结构化数据。
3、数据处理与流转：参与设计和开发数据清洗、ETL、存储等数据处理流程，确保数据质量，并与大数据团队协作，打通数据从采集到入库的全链路。
4、反爬策略研究：针对网站的访问限制和反爬机制，制定并实施有效的、合规的数据获取策略。
5、AI科研工具开发：探索利用AI Agent/LLM技术，开发科研写作相关的智能化工具。
任职要求：
（必要条件）
1、学历与经验：计算机相关专业本科及以上学历，3年以上Python爬虫开发或数据采集相关工作经验。
2、Python基础扎实：精通Python，熟悉多线程、多进程、协程等并发编程模型。
3、爬虫技术栈：精通至少一种主流爬虫框架（如Scrapy、feapder等）。
4、反爬经验丰富：具备深厚的反爬虫实战经验，能独立完成JS逆向分析、App协议破解等高难度任务。
5、数据存储与处理：熟练使用至少一种SQL（MySQL/PostgreSQL）和NoSQL（MongoDB/Redis/Elasticsearch）数据库。
6、基础工具：熟悉Linux操作系统、Docker容器化技术，熟练使用Git进行代码版本控制。

（加分项）
1、AI Agent/LLM经验：有过大语言模型应用开发的实践经验，对大型语言模型的应用开发有浓厚兴趣者优先。
2、分布式经验：有大规模分布式爬虫系统设计与开发经验，熟悉crawlab等管理平台者优先。
3、多语言能力：熟悉Go、JavaScript等其他编程语言者优先。