大数据数仓工程师岗位职责

岗位职责:
1、参与跨境电商数据中台建设，负责数据仓库的架构设计、模型设计和 ETL 开发，基于AWS Redshift 构建高效、稳定的数据仓库。
2、负责电商数据爬虫的开发与维护，从各大电商平台抓取商品、订单、评论等数据。
3、负责数据仓库的日常维护和优化，包括数据质量监控、性能调优、故障排查等。
4、参与数据治理工作，制定数据质量标准，监控数据异常，解决数据一致性、完整性等问题。
5、研究和探索新的数据仓库技术和工具，不断提升数据仓库的性能和效率。
6、编写相关技术文档，包括数据仓库设计文档、ETL 开发文档、数据字典等。
7、支持业务部门的数据需求，输出数据文档并推动数据产品化。

任职要求:
1、计算机科学、软件工程、信息管理等相关专业本科及以上学历，5年以上数据仓库开发经验，有过广告、跨境电商或营销领域的数据仓库项目。
2、熟练使用SQL，熟练掌握至少一种编程语言（Python/Java/Scala等），具备数据处理、分析和挖掘经验，有丰富的 ETL 开发经验。
3、有基于AWS Redshift 或BigQuery等平台，构建包括数据集成、数据开发、数据质量、数据服务等模块经验。
4、熟悉大数据生态圈相关技术，如Spark、Flink、Doris、StarRocks、Dolphinscheduler、观远 BI等。
5、有过电商数据爬虫开发经验，熟悉常见的反爬虫策略和应对方法。
6、具备与技术中台进行数据交互开发的经验，熟悉 API 接口设计和开发。
7、有相关Dolphinscheduler/Seatunnel等大数据组件二开经验。
8、具备良好的沟通能力和团队合作精神，能够独立解决问题并承担工作压力。

任职要求:
1. 本科及以上学历，3年以上大数据工作经验；
2. 熟悉Hadoop生态，熟悉Hive、presto、Spark、Hbase、ElasticSearch、ClickHouse、Flink等相关技术，对SQL性能优化具有丰富经验
3. 熟悉实时及离线数仓建模，有实际实时及离线数据仓库建设项目经验
4. 有Flink实际项目经验，熟练掌握flink编程
5. 较强的人际关系能力、有团队精神，较强的执行与推动能力，有一定抗压力。
岗位职责：
1. 负责供应链业务的实时及离线数据仓库的构建
2. 负责实时及离线指标计算的数据建模、架构设计与开发
3. 负责业务数据需求类开发工作，包括临时提数、固定报表开发需求等
4. 全方面分析系统数据，快速响应用户需求，通过数据挖掘和统计报表，提升系统数据运营效率。

工作职责：
- 对接并梳理业务需求，开发数据仓库模型，设计相关主题的事实表和维度表等;
- 参与全链路数据开发，包括日志埋点、数据同步、数据模型设计、离线数据和实时数据开发、数据治理等工作;
- 参与数据产品建设，如用户画像等数据驱动项目;
- 参与数据化运营，提供数据解决方案，支持业务决策、提升供应链效能和用户体验、驱动业务增长。

职位要求：
- 理工科背景，本科以上学历, 有扎实的数理基础、计算机科学功底；211,985优先；
- 熟悉数据仓库模型，具有数据仓库（DW）、商务智能（BI）、大数据等方面的软件或项目开发经验;
- 精通Hive编程、掌握Python/Scala/Java等开发语言一种以上，熟悉Linux系统及常规shell命令；
- 掌握大数据技术栈，包括Hadoop/Spark/Kafka/Flink/ES/Hbase/OLAP引擎等其中几种技术，熟悉Flink并有实时数仓开发经验者优先;
- 需求理解能力强，拥有良好的分析和技术能力，并具备解决问题的能力;
- 逻辑清晰，充满热情，良好的团队合作和沟通能力，良好的业务Sense;