data engineer岗位职责

Data Engineer, Middle Office Technology, Technology & Operations

Responsibilities
• Deliver solutions fonline data extraction, data integration data management.
• Develop maintain high-performance, scalable utilities to support technology research data transformation.
• Optimize data processing protocols systems fbetter efficiency maintainability.
• Contribute to the establishment maintenance of distributed computing platform big data services
• Writing of documents that clearly explain how algorithms should be implemented, verified validated.
Requirements
• Experience in a field encompassing Distributed computing, Data Analytics, Data Transformation
• Data Engineer with hands-on experience in Hadoop, SQL, Hive/Impala, Spark (Scala/ Python/ Java), Parquet/Avro/HBase HDFS.
• Analyse address issues relating to capacity constraints performance related items on SQL Spark ETL processing.
• Strong in Linux/Unix Commands Scripting (Shell Scripting Python/Scala).
• Experiences in automation of batches with Shell scripts + REST APIs (triggering result parsing).
• Experience in using AWS products like S3 Storage.
• Strong problem-solving skills with the can-do attitude to be able to come up with solutions fvarious problems on a wide technical area.
• Knowledge of professional software engineering practices & best practices fthe full software development life cycle, including coding standards, code reviews, source control management, build processes, testing, operations

职位描述:
寻找一位经验丰富的数据开发工程师，负责公司内部数据湖的开发与维护，基于业务需求构建并维护数据报表和搭建ETL Pipeline。您将与数据科学家、业务分析师和其他工程师紧密合作，构建高效、可靠的数据处理系统，为公司提供数据驱动的决策支持。
工作职责:
• 参与公司数据湖的开发和维护，确保数据的高效存储、处理和分析。
• 基于业务需求，设计和开发数据报表，为业务部门提供数据洞察。
• 构建和维护高效的ETL Pipeline，处理来自不同数据源的批量数据和实时数据。
• 优化数据处理流程，提高数据处理的效率和稳定性。
• 编写清晰、可维护的技术文档。
技能要求:
• 精通Hive、Yarn、Spark等大数据处理框架，了解Flink者优先。
• 熟练使用Python进行数据处理和分析，熟练掌握Scala或Java其中一种语言。
• 具备ClickHouse和Vertica等数据库的实战经验，能够构建健壮的Streaming或Batch ETL Pipeline。
• 深入了解Kafka原理，具备后端开发经验，熟悉SpringBoot等框架者优先。
• 具备良好的沟通能力和团队合作精神，能够独立解决问题。

岗位要求：
1.计算机科学、工程学或相关领域的学士学位。
2.至少3年在ETL（数据抽取、转换和加载）开发、数据工程或类似角色的经验。
3.熟练掌握ETL工具和技术，能够高效地进行数据抽取、转换和加载工作。
精通SQL语言，并具有使用数据库的经验，能够进行数据查询、操作和管理。
4.熟悉Python编程语言，能够使用Python进行数据处理和自动化脚本编写
5.强大的分析和解决问题的能力。
6. 出色的沟通和协作技能。
7. 云项目经验。
岗位职责：
• 通过CICD自动化设计、开发和维护可扩展且高效的数据管道
• 与利益相关者合作，了解数据需求并开发ETL解决方案
• 优化和改进现有的ETL流程，提高数据质量和性能
• 排查和解决数据相关问题
• 为ETL流程和数据模型编写和维护文档
• 构建API，用于数据供应和实时数据服务
• 参与代码开发和审查，提高代码质量
• 与敏捷教练合作，优先处理任务并确保项目按时交付
• 关注行业趋势和技术，以实现高效的ETL流程