大数据开发岗位职责

岗位职责：

1、参与基于Hadoop的大数据平台的研发工作与持续优化工作。
2、参与大数据平台的容量规划、持续交付、业务监控、应急响应，保证平台正常运行。
3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作。
4、学习和研究新技术以满足系统需求。

岗位要求：

1、拥有数据处理相关专业背景。
2、对互联网产品有见解，关注前沿技术，有较强的学习能力、分析能力和动手能力。
3、熟悉常用分布式计算和存储框架，如Hadoop/HDFS/Spark等。
4、至少熟悉以下一种大数据技术组件，Hive、Impala、Hbase、Flume、Kafka、Zookeeper、Storm、Flink。熟悉资产管理、资金业务和金融工程相关领域业务者优先。
5、个性乐观开朗，沟通能力强，具备良好的团队协作精神，能利用自身技术能力提升团队整体研发效率。
6、多份工作经历需*近2份工作均满2年，或*近1份工作经历满3年。仅有一份工作经历的需满两年。
工作地点：上海、成都

工作职责：1、参与ETL开发、数仓运维及模型迭代，完成多源数据采集与整合；
2、落地数据标准，监控数据质量，排查并闭环各类数据异常问题；
3、负责数据提取与指标核对，为报表、数据分析提供可靠数据支撑；
4、钻研大数据技术，优化数据作业效率，完成各项专项开发任务。
任职资格：1、本科及以上学历，计算机、大数据等相关专业优先，计算机基础知识扎实；
2、熟练掌握主流数据库，精通SQL编写与优化，掌握Java、Python可独立开发脚本；
3、熟练使用Git开发工具，熟悉Hadoop、Hive、Spark等主流大数据组件；
4、有数仓、大数据相关项目或实习经验，掌握Flink、Doris或AI应用落地者优先。

岗位职责
1、负责电商多源数据采集、清洗、建模与ETL/ELT开发，保障数据一致、准确、完整、及时。
2、搭建数据仓库分层体系，沉淀用户、商品、渠道、社群、直播间、活动、订单七大维度模型。
3、维护并拓展BI指标体系，覆盖全链路场景，支持业务复盘与异常监控。
4、运用工具提效数据清洗、SQL优化、脚本生成、报表自动化、需求拆解与问题排查。
5、负责数据治理，统一指标口径、数据字典、统计规则，优化数据质量、权限与链路性
任职要求
1、本科及以上学历，计算机、数据科学、统计学等相关专业，3年电商/互联网数据工程经验。
2、精通数据建模，具备TB级数据处理与ETL/ELT实战经验。
3、精通SQL复杂查询、窗口函数与性能调优。
4、 了解DataX, Flink CDC、 Canal, Apache Flink, MySQL, ClickHouse, Hive, Redis等.
5、熟悉私域电商业务场景与核心指标。
6、有AI工具赋能数据工作实战经验优先。