大数据平台开发岗位职责

岗位职责
1、包括实时数据采集计算、流式湖仓建设、现有平台架构调优、业务场景建模、数据产能提质增效。
2、应用场景：BI、OLAP、用户画像、群体分析、数据驱动等。
3、解决方案：基于Kafka、Flink的数据采集、流转、实时ETL平台建设；
基于Kyuubi、Trino、Doris、Hive、Hudi、Ceph、S3的流式湖仓建模、应用、维护；
4、Redis、MongoDB、ClickHouse、TiDB、Mysql等数据存储技术的应用。
技术能力：
1、SQL专家，精通复杂查询、性能优化、不同引擎SQL特性（必需）；
2、精通数仓与数据湖架构设计及业务建模（必需）；
3、熟悉ClickHouse、Doris、Trino、Kyuubi、Spark、Hive、S3等多类存储、计算引擎（必需）、掌握Python语言（必需）、掌握Kafka、Flink流计算平台、掌握Java/Scala语言
岗位要求：
1、本科211/985学历优先；
2、近5年3年以上大数据研发经验；

岗位描述：
1. 负责大数据任务调度、血缘治理、质量监控等平台开发
2. 参与湖仓一体架构优化，提升数据存储与计算性能
3. 推动AI与数据治理结合（如智能血缘分析、质量异常预测）
4. 负责大数据平台性能优化及稳定性保障
5. 探索大数据与AI新技术落地

岗位核心要求：
1. 本科+学历，5年+大数据平台开发经验，主导过平台建设项目
2. 熟悉Hadoop/Spark/Flink/Kafka/dolphinscheduler等组件原理，有生产环境调优经验
3. 掌握Java开发及性能调优（GC/线程等），了解K8S基础架构和使用
4. 具备系统化问题解决能力和团队协作意识

优先项：
1. 有Go/Python开发经验
2. 在数据血缘/质量场景中应用过AI技术（如ML/NLP）
3. 熟悉数据治理相关AI工程化方案
4. 有大数据平台架构设计经验

工作职责：
1、参与自动驾驶数据中台、数据仓库多维模型、报表体系的设计与建设；
2、负责大规模海量数据的特征提取、统计计算、数据分析和数据挖掘；
3、负责数据体系相关数据的抽取、清洗、转换、服务、接口对接等工作，提供数据服务和逻辑说明；
任职要求：
1. 硕士及以上学历，自动驾驶相关工作经验3年以上；熟悉自动驾驶数据闭环数据特征，精通数据仓库建模理论，有3年以上数据仓库建设经验；
2. 熟悉Hadoop/Spark/Flink/Presto/Hive/Kafka/Flume等大数据技术框架，具有丰富的使用经验；
3. 熟悉数据仓库理论方法及ETL相关技术，对于数据的架构和设计有一定的思考，具备良好的数学思维和建模思维；
4. 业务理解力强，对数据敏感，具有自动驾驶行业、汽车行业数据相关经验优先；