数据平台开发岗位职责

职位描述：面向公司海量数据对应的大数据任务开发和生产挑战，打造稳定、高效、可靠的大数据平台；追求极致，打造一流的数据中台产品，包含但不限于大数据开发平台，作业调度系统，数据地图，数据治理平台，数据质量平台等；参与产品全流程工作（用户调研、需求评估、产品设计、项目管理、效果评估等），带领开发团队推进产品高质量开发迭代，对产品*终结果负责；负责数据平台相关运营工作，建立用户反馈渠道，搜集和梳理用户反馈，持续改善产品功能及用户体验，提高工具使用效率；参与产品运营工作、完善产品宣发&用户培训机制等，扩大平台影响力。 职位要求：7年以上数据平台开发经验，计算机相关专业；熟悉数据平台、数仓建模、数据治理、数据资产管理等相关领域者优先能熟练运用SQL及其他语言排查定位问题，高效与技术团队进行沟通；良好的语言沟通与表达能力，自我驱动，善于系统性思考，产品设计逻辑性强； Java基础扎实、熟悉多线程、熟悉Java网络编程、了解设计模式、熟悉模块化编程、 熟悉主流Web开发技术精通 Spring MVC、iBATIS、Hibernate 等常用开发框架熟悉Mysql，熟悉常用的SQL优化方案喜欢钻研技术，具有分享精神，喜欢和数据打交道用户意识强，能够站在用户视角审视、发现并快速解决问题能够适应高强度压力

岗位职责
1、包括实时数据采集计算、流式湖仓建设、现有平台架构调优、业务场景建模、数据产能提质增效。
2、应用场景：BI、OLAP、用户画像、群体分析、数据驱动等。
3、解决方案：基于Kafka、Flink的数据采集、流转、实时ETL平台建设；
基于Kyuubi、Trino、Doris、Hive、Hudi、Ceph、S3的流式湖仓建模、应用、维护；
4、Redis、MongoDB、ClickHouse、TiDB、Mysql等数据存储技术的应用。

技术能力：
1、SQL专家，精通复杂查询、性能优化、不同引擎SQL特性（必需）；
2、精通数仓与数据湖架构设计及业务建模（必需）；
3、熟悉ClickHouse、Doris、Trino、Kyuubi、Spark、Hive、S3等多类存储、计算引擎（必需）、掌握Python语言（必需）、掌握Kafka、Flink流计算平台、掌握Java/Scala语言
4、3年以上大数据研发工作

工作职责
1.负责多模态数据开发治理平台、指标平台、智能数据应用的研发与迭代，参与平台智能化能力建设；
2.负责数据开发治理平台架构设计、核心功能开发与维护，包括数据建模、离线/实时数据开发、数据治理、元数据管理等核心模块，推进数据存储组件云原生化演进，支撑 PB 级数据治理与存储场景；
3.负责 JuiceFS 在大数据与 AI 场景下的应用落地，参与存算分离大数据平台架构设计与建设;
4.负责数据湖、湖仓一体等技术研究与落地，跟踪数据开发治理领域技术趋势，完成技术选型与架构设计。
任职资格
1.本科及以上学历，在大数据领域工作5年以上，重点有丰富的数据开发治理平台/指标平台/数据中台的开发经验；
2.熟悉主流Hadoop、JuiceFS、Spark、Flink、Doris、Airflow、Starrocks、Fluss等大数据组件的实现原理，熟悉大数据组件的性能调优，有较强的问题故障排查能力；
3.熟悉Paimon、Iceberg等数据湖技术，有湖仓一体、存算分离架构实践经验优先；
4.精通Java/Python等至少一种编程语言，熟悉 Spring Boot、langchain等开发框架，了解 Kubernetes 架构与使用；
5.熟悉元数据管理系统（如 Datahub、Atlas），有元数据、数据标准、数据质量开发经验优先；
6.有指标平台、数据智能应用、智能DataOps、多模态数据处理相关项目经验者优先；
7.具备很强的责任意识，自驱力，良好的沟通协作能力，做事主动积极，勇于挑战高难度工作。