大数据工程师岗位职责

工作职责】
1、 负责公司数据产品开发及运维，对数据质量及产品可靠性负责； 2、 负责宽表和数据集市层表的逻辑加工及数据服务的开发； 3、 参与数据模型设计，数据服务设计。
【任职要求】
业务技能要求：
1、负责核心模块的业务需求IT实现中的概要设计、输出高质量代码，落地开发者测试，保障所实现的需求满足质量、性能等要求；
2、对责任代码仓的代码质量进行看护，定期审视代码及落地DFX重构需求，持续构建代码的可读性和可维护性。
专业知识要求：
1、2年以上数仓（Gauss DWS、SQL Server、Oracle）/分布式数据存储与计算平台应用开发经验，有华为DWS开发经验尤佳，处理过千万级别以上的数据；
2、具备较强的逻辑思维，能够理解并使用SQL计算复杂的业务逻辑；
3、较为丰富的数据仓库及数据平台架构经验，精通数据仓库建模及ETL设计开发；在数据质量、调度治理等方面有一定实践经验；
4、能快速定位和处理数据问题，有责任心，乐观，抗压能力强

职责描述：1.负责大数据平台的搭建和功能开发；
2.负责大数据平台数据清洗、转换、建模的开发工作；
3.负责制定数据建模、数据处理、数据运维和数据安全等架构规范并落地实施；
4.撰写所承担功能模块的设计说明书、开发说明书、测试与部署文档等。
任职要求：1.计算机相关专业本科及以上学历；
2.有大数据平台工具及组件的使用经验；
3.熟悉主流数据库中的1种及以上，精通SQL、存储过程，有较好的SQL性能调优经验；
4.熟悉常用数据仓库解决方案，有业界常用的ETL工具使用经验。有数据存储和数据检索经验。
5.熟悉Hadoop、HDFS，MapReduce，Hive等开源分布式系统；
6.精通或熟悉一种以上编程语言，如Python，C/C++，Java，Perl，Golang或其它；
7.对机器学习有一定了解，比如一些统计分析知识和基础数据建模；
8.具有良好的逻辑思维能力，善于学习，与团队沟通无障碍；
9.有相关行业数据ETL经验优先；
10.有持续学习的能力，喜欢开源软件，乐于知识分享，对工作认真负责，可以独立承担较大工作压力；

职位概述：参与企业级应用系统的开发和维护。该职位需要具备扎实的开发技能，熟悉容器化技术，并有丰富的数据库设计和优化经验。岗位职责：1、根据业务需求，独立完成企业级应用的功能模块设计与开发；2、负责系统架构设计、数据库设计及性能优化；3、使用容器化技术进行应用部署和运维；4、参与代码审查，确保代码质量和系统稳定性；5、协作解决系统运行中的技术问题任职资格：1、开发经验：具备3年以上企业应用开发经验，熟练掌握主流框架（如、、等），熟悉异步编程、多线程多进程编程，具备设计和开发能力，熟悉单元测试和集成测试编写，能够独立完成功能模块的设计与开发；2、容器化技术：熟悉、等容器技术框架，具备容器镜像构建、服务编排、集群管理经验，熟悉、等云原生工具，有实际项目部署和运维经验，了解微服务架构和流程；3、数据库经验：丰富的数据库存储经验，熟练掌握或其他大数据存储系统（如、、等），具备数据库设计、优化和调优能力，熟悉优化、索引设计、分库分表策略，了解数据库高可用和灾备方案；4、其他技术要求：熟悉操作系统，具备脚本编写能力；掌握版本控制工具和敏捷开发流程；了解消息队列技术（如、等）；熟悉缓存技术（、等）及其应用场景；了解监控和日志系统（如、、等）；具备良好的代码规范和文档编写习惯。优先条件：有建模平台或数据分析平台开发经验者优先；有机器学习模型部署或经验；熟悉实时数据处理和流式计算；有金融、交易系统或大数据处理平台开发经验；加分项：具备良好的英文读写能力；有开源项目贡献经验；持续学习新技术并应用于实际项目。