大数据架构师岗位职责

职位描述：
我们正在寻找一名技术精湛、富有系统思维的大数据架构师，加入我们的团队，共同打造企业级实时数据平台。
作为大数据架构师，您将负责：
1、负责大数据平台的整体架构设计、技术选型与演进规划，为企业级数据处理提供统一、可靠的技术底座。
2、主导数据从抽取、清洗、计算到端上呈现的全链路设计，确保数据实时性、准确性和一致性。
3、构建高并发、低延迟的OLAP分析引擎和查询服务，支撑高并发下秒级甚至毫秒级的响应性能。
4、建设数据治理体系，实现完整的数据血缘追踪和元数据管理，确保数据链路的可追溯性。
5、主导大数据平台性能调优，解决高并发、海量数据处理场景下的瓶颈问题。
6、跟踪并研究大数据与AI领域的前沿技术，为团队引入创新的架构模式和解决方案。
7、指导大数据开发团队，制定技术规范和开发标准，提升团队整体技术能力。
职位要求：
1、本科及以上学历（计算机相关专业），8年以上大数据开发经验，其中至少3年以上架构设计或技术主导角色。
2、深入掌握大数据生态：精通 Hadoop（HDFS/Yarn/Hive）、消息队列（Kafka/Pulsar）及实时计算引擎（Flink 为主，兼顾 Spark Streaming）。
3、精通流处理与实时 ETL：具备大规模实时数据采集（CDC，如 Flink CDC/Debezium）及实时清洗、计算的落地经验。
4、精通 Apache Doris：理解其存储结构、分区分桶策略、索引优化；具备高并发（2000+ QPS）查询优化实战经验。
5、精通ElasticSearch：熟悉分布式检索与大规模日志/事件存储优化。
6、数据治理与血缘分析能力：熟悉元数据管理及数据质量体系，能设计端到端的数据血缘追踪方案。
7、性能调优与编程能力：精通 Java，具备集群资源调度、JVM调优、网络 I/O 优化能力，能进行源码级问题排查与性能调优。
8、架构视野与工程化能力：理解 Lambda、Kappa 及湖仓一体架构；熟悉数据平台工程化（CI/CD、Kubernetes、Prometheus 监控等）。
9、软技能：良好的沟通与团队协作能力，能与产品、后端、运维、分析师紧密合作；具备快速学习能力及英文阅读能力。

岗位JD：
1、熟悉华为云（DataArtsStudio）平台
2、有大数据迁移/数据治理项目经验
3、熟悉数据质量
4、熟练掌握4A架构设计中至少2A理论与设计经验
5、熟悉 Hadoop 生态系统及组件
任职要求:
1. 能够适应出差，本科及以上学历，8年以上工作经验，能用英语交流；
2. 有华为云工作经验经验，能自主开发及运维；
3. 熟悉企业数据架构设计方法，根据客户需求数据数据架构方案
4.责任心强，能够主动思考以解决复杂问题;具备良好的逻辑思维能力，良好的沟通协调能力，能够清晰表达和倾听、良好的团队合作精神，具备系统分析、解决问题的能力;
5.有华为云证书HCCDPxx（大数据、云迁移、运维OM等）优先。

"岗位职责：
1.电芯大数据平台架构设计
①　负责电芯海量数据（每秒数万至数十万数据点）的采集、传输、存储、计算和分析平台的整体架构设计。
②　设计基于数据湖（如MinIO/HDFS/Iceberg）和流批一体（如Flink/Spark Streaming）的大数据处理架构，支撑实时监控、离线分析和AI训练。
2.数据采集与传输优化
与L1设备接入组协作，优化电芯数据从站端到云端的传输方案，包括数据压缩、断点续传、边缘预处理等，降低带宽成本和延迟。
3.数据存储与治理
①　设计电芯数据的存储分层策略（热数据/温数据/冷数据），结合时序数据库（TDengine）和分布式文件系统，满足长期存储与快速查询的平衡。
②　制定数据质量标准和数据治理规范，建立电芯级数据血缘追踪机制。
4.计算引擎建设
搭建面向电池数据分析的计算引擎，支持大规模并行计算，为SOH评估、一致性分析、热失控预警等算法提供高效的数据处理能力。
5.平台运维与扩展性
①　确保大数据平台的高可用、可扩展性，支持从单站到数百个储能电站的平滑扩展。
②　制定平台监控告警方案，保障数据链路的稳定可靠。
6.团队协作与文档
指导大数据开发工程师（未来可扩展）进行平台开发，编写架构设计文档和运维手册。"
"任职要求：
1.教育背景：计算机科学、软件工程、数据科学、电子信息等相关专业硕士及以上学历。
2.经验要求：5年以上大数据平台架构设计经验，3年以上工业物联网、车联网或新能源行业大数据平台建设经验。有电池数据平台、车联网TSP平台或储能云平台经验者优先。
3.核心技术能力：
①　精通Hadoop生态（HDFS、YARN、Hive）或云原生大数据技术栈（Spark、Flink、Kafka、Pulsar）；
②　熟悉数据湖技术（Iceberg、Hudi、Delta Lake）和数据仓库建模方法论；
③　熟悉时序数据库（TDengine/InfluxDB）在大数据场景下的应用与优化；
④　具备Java/Scala/Python开发能力，熟悉Kubernetes容器化部署；
⑤　了解电芯数据协议（CAN/Modbus）和电池数据特征者优先。
综合素质：具备前瞻性技术视野和复杂系统设计能力，优秀的跨团队沟通能力。"