python工程师岗位职责

岗位职责：
1、负责公司数据源抓取需求，满足公司对多源数据采集要求；
2、负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；
3、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量；
4、设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克；
5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求；
6、负责RPA相关开发工作，提升业务能效；
7、负责部分AI（RAG）相关开发工作。

岗位要求:
1、有扎实的数据结构和算法功底；
2、工作认真细致踏实，有较强的学习能力，熟悉常用爬虫工具；
3、熟悉linux开发环境，熟悉python等，熟悉其他开发语言优先；
4、理解http，熟悉html, DOM, xpath,css,js,ajax；
5、有Python分布式抓取系统的开发、架构经验，至少熟悉并使用过一种主流爬虫架构，如Scrapy、Gocolly、Webmagic等；
6、熟悉第三方RPA软件（弘玑、影刀、UiBot等）优先；
7、熟悉RAG流程优先，熟悉AI模型、RAG框架等优先；
8、熟悉反爬策略的应对，能够解决封账号、封IP、验证码、JS加密等问题；
9、熟悉Mysql、Redis、MongoDB等数据库，有过数据库调优和海量数据存储经验者优先。

岗位职责：
1.使用Python语言进行odoo的二次开发；
2.按照规范及设计文档完成编码工作，对代码质量负责，并按照规定提交相应的开发文档；
职位要求：
1.熟悉Python语言及Django框架；
2.熟悉WEB标准，对使用CSS进行页面布局具有一定经验；
3.熟悉至少一种Bash/P/JavaScript/Ruby脚本语言；
4.熟悉SQL语言，熟悉MySQL的使用，能够分析SQL语句的性能；
5.熟悉至少一种linux发行版；
6.持续关注某开源领域相关技术及其发展；
7.关注代码/系统性能或服务架构设计；

岗位职责
1. 负责后端服务及相关功能模块的设计、开发与实现，持续提升系统的可用性与稳定性。
2. 负责 gRPC、HTTP、WebSocket 等相关接口的开发、联调与问题排查，保障系统间高效协同。
3. 参与需求分析、技术方案设计、系统架构优化及核心代码开发工作。
4. 参与服务测试、线上故障定位与性能调优，持续优化系统运行效率与代码质量。
5. 配合团队推进技术方案落地，参与代码评审、规范建设与版本迭代，不断提升工程质量。
任职要求
1. 计算机、数学、大数据、人工智能、电子信息等相关专业，本科及以上学历。
2. 熟练掌握 Python 语言，具备扎实的编码能力，熟悉常用开发框架。
3. 熟悉 Linux 环境下的开发与常用操作，具备基本的问题定位与排查能力。
4. 熟悉 gRPC、HTTP、WebSocket 等常见互联网通信协议，具备相关开发或使用经验。
5. 具备一定的操作系统、计算机网络等基础知识，对服务端开发有较好的理解。
6. 具备良好的逻辑分析能力和工程思维，能够参与业务逻辑优化、性能优化及代码架构改进。
7. 具有较强的责任心、沟通协作能力和学习能力，能够积极推动项目落地。
8. 接受部分项目出差安排。