上海 java 招聘（工资待遇要求）

岗位职责
一、大规模数据平台研发
负责大规模时序数据、车辆 IoT 数据及业务数据的采集、存储、计算与治理，支撑车辆、轮胎、设备等核心业务的数据平台建设。
参与数据采集、数据同步、实时计算、离线计算等数据链路建设，保障数据稳定、准确、高效地生产。
负责数据处理链路的设计与开发，解决海量数据场景下的数据传输、计算、存储及查询问题。
二、实时与离线计算
基于 Flink、Spark 等大数据计算框架，参与实时计算、离线计算及数据加工任务的开发与优化。
参与 Kafka、RocketMQ 等消息链路建设，负责数据实时采集、传输、消费及数据同步。
参与 CDC、实时数据同步等数据生产链路建设，保障业务数据及时、准确地进入数据平台。
持续优化数据处理任务的性能、稳定性及资源成本。
三、数据建模与数据治理
负责业务数据、车辆 IoT 数据及时序数据的数据建模、清洗、转换及加工。
参与数据仓库及数据平台建设，结合业务场景设计合理的数据模型和数据处理流程。
参与数据质量治理，解决数据丢失、重复、延迟、异常及数据一致性等问题。
参与数据分析及数据挖掘，为产品、算法及业务团队提供稳定可靠的数据支持。
四、系统稳定性与工程质量
负责数据服务及计算任务从需求分析、技术方案、开发测试到上线运行的全流程工作。
持续优化系统性能、稳定性及资源利用率，降低大数据平台运行成本。
能够独立定位和解决生产环境中的数据链路、计算任务、消息队列及数据库等问题。
与产品、算法、后端及业务团队协作，推动数据能力在实际业务中的落地。
任职要求
一、基础条件
本科及以上学历，计算机、软件工程、数据科学等相关专业。
3 年及以上 Java 开发经验，具备扎实的 Java 基础及良好的工程能力。
熟悉 Linux 环境，具备生产环境问题排查和系统运维能力。
二、Java 与后端开发能力
熟悉 Java 核心技术，包括集合、多线程、IO、JVM 等。
熟悉 Spring Boot 等主流 Java 开发框架，具备后端服务开发经验。
熟悉 MySQL、PostgreSQL 等关系型数据库，具备 SQL 编写、索引设计及性能优化能力。
熟悉 Kafka、RocketMQ 等消息队列，理解消息可靠性、消费语义、积压处理等基本机制。
三、大数据研发能力（核心要求）
熟练使用 Flink、Spark 等大数据计算框架，具备实时计算或离线计算的实际项目经验。
理解大数据处理中的数据分区、并行计算、状态管理、Checkpoint、Exactly-Once 等基本概念。
具备大规模数据处理、实时数据链路或数据平台开发经验。
具备良好的数据建模能力，能够根据业务场景设计合理的数据模型及数据处理流程。
四、数据工程与数据存储能力
具备数据采集、数据同步、ETL、实时数据处理等相关经验。
有 CDC、实时数据生产级同步经验，熟悉 MySQL CDC、Flink CDC 等技术者优先。
熟悉 Doris、StarRocks 等 OLAP 数据库，了解列式存储、分区、索引及查询优化者优先。
熟悉 Apache Arrow、DataFusion、Polars 等现代数据处理技术者优先。
了解 RisingWave、Materialize 等新一代 Streaming Database 技术者优先。
五、业务数据能力
具备较强的数据分析和问题定位能力，能够从业务问题出发分析数据链路及数据质量问题。
有车辆 IoT、车联网、物流、设备监控、时序数据等相关项目经验者优先。
有大规模时序数据、传感器数据、GPS、车辆运行数据处理经验者优先。
加分项
有生产环境 CDC、实时数据同步及数据链路建设经验。
熟悉 Flink + Kafka 构建实时数据处理链路。
熟悉 Doris、StarRocks 等 OLAP 数据库及数据分析场景。
熟悉 Apache Arrow、DataFusion、Polars 等现代数据处理技术。
了解 RisingWave、Materialize 等 Streaming Database。
有车辆 IoT、车联网、物流、轮胎、设备数据等相关业务经验。
有大规模数据平台性能优化、成本优化经验。