数据架构岗位职责

教育背景：
•本科及以上学历，专业应用数学、计算机科学、软件工程、信息工程或等相关领域。
工作经验：
•至少五年以上数据处理领域的工作经验，其中三年以上专注于工业数据治理。
•具备利用开源平台如Hadoop等开发和建设制造行业数据仓库或大数据平台的经验。
技术能力：
•熟悉数据治理相关的采集、传输、存储、集成和分析等技术研究及开发应用。
•掌握Hadoop生态系统中至少两种以上技术组件（如HBase、Kafka、Hive、Flink、Spark等）的工作原理。
•精通Java、Python中的一种或多种编程语言，并熟练掌握海量数据分析的相关模型和算法。
•了解人工智能领域的技术，如机器学习、自然语言处理、知识图谱等。
管理与领导能力：
•具备项目管理经验，能够带领团队完成项目任务。
•有能力进行技术团队建设、人才培养和技术梯队管理。
个人素质：
•具备良好的系统分析能力和故障诊断能力。
•能积极了解并研究大数据新技术的发展方向。
•拥有良好的团队协作精神和沟通能力。
优先条件：
•拥有开发项目管理经验；
工作职责：
•负责企业数据需求调研、数据治理标准梳理与确定、数据平台架构设计等。
•设计数据产品/方案的架构，并进行技术规划。
•解决数据治理中的技术难题，组织团队进行技术攻关。
•参与企业数据标准的制订，推动团队按照标准执行。

工作内容：
1.负责安全产品用户行为分析引擎的预研。搭建大数据采集和分析引擎，基于大数据进行用户行为的机器学习AI分析。
2.负责安全产品用户行为分析引擎的产品化。
岗位要求
1、有软件开发经验，熟悉JAVA，C++等开发语言
2、计算机、数学、统计等相关专业本科以上学历；*好是硕士以上。
3、精通大数据、精通oracle、SQL Server了解数据治理；具备大数据分析领域、BI系统或大型互联网产品的数据系统的架构设计经验；
4、可独立进行大中型数据平台架构设计和搭建、模型设计、ETL设计，支持离线定时任务及实时流处理。
5、熟悉Hadoop相关各种开源项目，掌握Hive、Spark、Kafka、HBase、ElasticSearch 等数据处理核心组件；
6.熟悉常用的数据结构和算法，熟悉人工智能和机器学习的相关基础理论和算法原理，对强化学习、迁移学习、GAN等技术有深入理解；
7.熟悉主流的机器学习框架，包括但不限于TensorFlow/MXNet/Caffe/Torch/GraphLab等，有一定的实践经验

上海
工作职责：
1、进行大型业务模块的业务架构设计与总体设计，进行数据模型建模；
2、协助系统架构师进行技术架构的选型与技术架构演进；
3、搭建和演进产品所使用大数据平台架构；
任职资格：
1、 熟悉K8S平台上应用研发；
2、 可开展数仓建模、领域建模、分层架构、主数据管理平台设计；
3、 熟练掌握当下主流前、后端技术栈的开发与选型；
4、 具备主导中小型产品、项目从0到1的业务分析和技术架构选型、落地的经验；
5、 具备较强大数据平台架构建设经验；
6、 10年左右相关领域从业经验；