岗位职责:
1、负平台系统的数据接入、数据存储、数据计算、数据治理、数据提供等数据基础服务设计开发;
2、负责平台系统的数据集成、数据模型设计、数据指标设计、数据工作流设计、数据产品设计等数据应用设计开发;
3、参与完成数据仓库设计,推动完成数据模型建模,为各数据需求提供完备的数据支持;
4、负责持续对平台系统进行数据性能监控和诊断,持续优化平台系统的数据处理性能;
5、负责对平台系统上Pyhon任务进行设计、开发、测试、部署、维护。
岗位要求:
1、大学本科及以上学历,3-5年以上python数据工程师工作经验;
2、精通ETL开发,精通使用ETL工具,如ETL、Kettle等;
3、精通使用Django、Flask等主流的PythonWeb开发框架;
4、熟悉掌握Python语言,熟悉掌握Pyhon的常用科学计算、数据分析、机器学习第三方库;
5、熟练掌握Hadoop生态,包括HDFS、MapReduce、HBase、Hive、Spark、Flume、Zookeeper等,能熟练运用Python对Hadoop生态进行开发;
6、熟练掌握Docker、Ganglia、Zabbix等,能熟练运用Python对Docker、Ganglia、Zabbix等进行开发;
7、掌握算法和统计学知识,并能熟练使用SAS、SPSS等统计分析软件。