上海 python 招聘（工资待遇要求）

我们正在寻找一位出色的数据科学家加入我们的团队,从数据中挖掘洞见和创新,以改善我们的基准和AI驱动的工具。
关于这个角色
我们正在寻找一位动手型数据工程师,来设计、构建和维护为我们的AI x web3 AI代理产品提供动力的编排层。你将设计和维护一个强大、可扩展的管道,用于摄取、转换、验证和提供各种异构数据集,确保研究和生产环境中的低延迟、高可靠的数据流。
你将负责的工作:
领导数据编排。在Dagster中实施和操作端到端工作流,协调提取、转换和加载阶段的任务。
利用Databricks。在Databricks上构建和优化现有的ETL作业。
整合不同的数据源。开发和维护用于REST/WebSocket API、社交流媒体平台和第三方端点的连接器 - 处理速率限制、重试和模式演变。
设计数据模型。在数据湖/仓库中定义原始、临时和精选的模式,以支持机器学习训练、分析和实时查询。
确保数据质量和可观察性。嵌入验证检查(如使用Great Expectations)、仪表化、日志记录和警报,以满足服务水平协议并及早发现异常情况。
跨职能协作。与其他产品开发团队成员合作,将数据需求转化为高性能服务和自助式API。

你应该具备:
2年以上数据工程师或类似角色的经验,拥有构建和优化生产管道及编排工作流的良好记录。
对Dagster在现代数据技术栈中用于工作流定义、调度和监控有深入了解。
编写和调优Databricks上的Spark作业的实践经验,包括Delta Lake*佳实践。
擅长构建用于REST、WebSocket和GraphQL源的强大连接器,管理分页、身份验证和模式漂移。
精通设计星型/雪花模式,并使用数据仓库/数据湖(如BigQuery、Snowflake、Delta Lake)。
有使用数据验证框架(Great Expectations)和可观察性工具(Prometheus、Grafana、ELK)的经验。
你能撰写清晰的文档,分享管道模式,并向技术和业务利益相关方呈现数据洞见。