一、岗位职责
1、负责数据生产相关的编程任务,包括但不限于数据采集、清洗、转换和分析,确保数据质量和一致性。
2、负责数据模型的数据集生产、优化,为算法模型提供高质量的数据支持。
3、负责设计、编写和整理用于大模型业务测试的各类问题,根据模型训练的具体需求和目标,精心挑选和构建高质量、多样化的训练数据集,提高模型的预测准确性;
4、负责大模型评测体系的构建、设计评测指标方案和数据集;
5、持续学习和探索新的技术和工具,根据项目需求参与数据生产流程的设计与优化,确保数据的准确性、完整性和及时性。推动数据生产流程的改进和创新。
二、岗位要求
1、本科及以上学历,数据科学、计算机、人工智能等相关专业;
2、具备扎实的Python编程能力,能够使用Python等语言调用API接口、使用多线程处理数据、生成测试集;
3、熟悉GLUE、C-Eval、HELM、MT-Bench 等公开 Benchmark 的设计思路与缺陷;能自定义业务级评测集(prompt 设计、指标对齐、统计显著性校验);熟练用 LLMEval、OpenCompass 或自研框架做自动化评测;
4、良好的沟通能力和学习习惯,对AI领域有足够热情,具备较强的自我驱动能力和独立思考能力。