ai专家岗位职责

Agent资深测试专家
岗位职责
1.测试体系顶层设计
●负责 AI Agent 产品线的测试架构规划，设计覆盖 LLM 能力层、Agent 决策层、工具调用层、多 Agent 协作层的全链路测试体系
●制定 Agent 测试标准、评测基准（Benchmark）和质量度量指标（如任务完成率、工具调用准确率、幻觉率、鲁棒性指数、成本与延迟等）
●设计面向非确定性系统的测试方法论，解决 LLM 输出不稳定、难以断言、回归困难等核心挑战

2.测试平台与基础设施建设
●主导 Agent 自动化测试平台的架构设计，包括数据集集管理、工具服务、轨迹（Trajectory）回放、评估器（Evaluator）框架
●建设离线评测 + 在线评估 + 红蓝对抗的三位一体评测链路
●推动 LLM-as-a-Judge、多维度打分、人工标注闭环等融合评估机制落地

3.关键技术攻关
●解决 Agent 在长程推理、工具编排、记忆管理、多轮对话等复杂场景下的测试难题
●设计 Prompt 回归测试、Agent 行为漂移检测、Token 成本与延迟治理方案
●构建 Agent 安全测试能力，覆盖 Prompt Injection、越狱、数据泄露、工具滥用等风险

4.组织赋能
●带领测试团队进行技术选型与能力升级，培养 Agent 测试专家梯队
●与算法、工程、产品团队共建质量标准，推动"可测试性"在 Agent 设计阶段前置

任职要求
●本科及以上学历，计算机、人工智能相关专业，2年以上 AI/大模型/Agent 相关测试经验
具备完整测试平台/框架的架构设计与落地经验，主导过至少1个规模化测试基础设施建设
●深入理解 LLM、RAG、Function Calling、MCP、多 Agent 框架（如 LangGraph、AutoGen、CrewAI）的原理与测试要点
●熟悉主流 Agent 评测基准（AgentBench、GAIA、SWE-bench、τ-bench 等），有自研评测集经验者优先
●精通 Python，熟悉至少一种 Agent 开发框架的源码级实现

加分项
●有 LLM-as-a-Judge、Reward Model、自动化评估算法设计经验
●有 Agent 产品从0到1的质量体系搭建经验

角色定位：AI专家，具备从0-1经验。具体薪酬面议。
一、岗位职责：
（一）AI Agent开发：
1.参与前沿技术的研究与实践，专注于AI Agent编程研发工作
2.负责与LLM大模型的对接、优化和改进，提升AI Agent系统的性能、可靠性和智能水平，确保其在复杂场景下的高效运行。
3.使用Python作为主要编程语言，进行AI Agent相关功能模块的开发、调试和优化，编写高质量、可维护的代码。
4.与跨职能团队紧密合作，包括产品、设计、开发等团队，确保按时交付符合需求的AI Agent解决方案，满足业务目标和用户体验要求。
5.跟踪和研究AI Agent领域的*新技术动态，结合LLM大模型的发展趋势，为团队引入创新的技术理念和方法，推动项目的持续进步。
（二）模型开发与优化：
1.负责大语言模型（LLM）或深度强化学习（DRL）模型的微调（Fine-tuning）、提示工程（Prompt Engineering）及持续训练。
2.优化模型推理效率（如量化、剪枝、蒸馏）及分布式训练（PyTorch FSDP/DeepSpeed）。
（三）全流程搭建：
1.主导数据采集、清洗、标注及特征工程，构建高质量训练数据集。
2.搭建模型训练-评估-部署的完整Pipeline，集成MLOps工具链（如MLflow/Kubeflow）。
二、任职要求：
1.计算机科学、人工智能、软件工程、数学或相关专业本科及以上学历。
2.至少1 年以上的AI Agent开发经验，有Magentic-One、AutoGen、LangGraph等开源框架开发经验优先。
3.熟悉机器学习和深度学习算法，对大模型有基本的了解。
4.熟悉常见的Python代码框架，具备使用这些框架进行Web应用开发的经验，能够快速搭建和部署API接口，实现AI Agent与外部系统的高效交互。
5.具备与LLM大模型开发的实践经验，了解LLM模型的架构、训练方法和优化技巧，能够高效地进行模型调用、结果解析和二次开发。
6.熟悉LLM模型的推理框架的原理和使用，如vllm，了解其在分布式推理中的应用，进行模型的高效推理。 - 熟悉LLM模型的部署框架的原理和使用，如Ray Serve，能够使用Ray Serve进行模型的部署和管理，实现模型的自动扩展、多GPU和多节点支持等功能。
7.熟悉LLM agent开发工具框架的使用，如LangChain、LangGraph、LlamaIndex、Microsoft AutoGen等 - 熟悉常用的中间件系统，如mysql、redis、mongodb、kafka等，能够基于这些中间件进行数据存储、缓存管理和消息传递等操作，以支持AI Agent系统的高效运行。
8.对docker、k8s等云原生组件有深入的理解和运用能力，能够利用容器化技术进行AI Agent应用的部署、管理和扩展，确保系统的高可用性和可伸缩性。 - 具备较强的算法开发能力，能够针对AI Agent的特定需求，设计和实现高效的算法，提升系统的智能化水平。
9.熟悉AI Agent技术领域的*新研究成果，有实际项目落地经验者优先，尤其是在LLM大模型与AI Agent结合的应用场景中有成功案例者将更具优势。

要求：
1、本科及以上，数学、计算机科学、自动控制、人工智能等相关专业，硕士及以上学历优先，熟悉PyTorch、TensorFlow等深度学习框架，掌握OpenCV、Scikit-learn等工业常用库及PLC编程（如梯形图、结构化文本）、ROS（机器人操作系统）、Git版本控制、Docker容器化部署；
2、10年以上工业AI开发经验，有完整项目落地案例（如智能产线优化、设备预测性维护），熟悉工业自动化设备开发流程，具备从算法设计到工程化落地的全链条经验；
3、具备跨团队协作能力（与硬件工程师、生产部门沟通），抗压能力强。
职责：
1、深入理解工业领域需求（如设备预测性维护、质量检测、工艺优化、能源管理等），主导AI技术在工业场景中的落地方案设计。
2、基于数据驱动，挖掘工业数据价值，构建端到端的AI应用闭环（数据采集、模型训练、部署优化、迭代升级）；
3、研发工业场景下的AI算法（如时序数据分析、异常检测、根因分析、多模态融合等），提升模型准确性、实时性和鲁棒性。
4、优化模型轻量化部署能力，适配工业边缘计算设备（如PLC、工控机、嵌入式设备）；
5、主导AI模型与工业自动化系统（如SCADA、MES）的集成，实现智能化闭环控制。