职位描述:
负责多模态文档智能算法的研发与优化,涵盖试卷结构理解、图像去手写、去水印与增强等方向;多模态模型的监督微调(SFT)与强化学习微调(RLHF),推动模型在 OCR、试卷文档结构化与图像重建场景的落地。
岗位职责:
1.掌握传统OCR的文本检测、文字识别、公式识别算法。
2.熟练掌握常见的多模态算法:CLIP、BLIP、NaViT、Qwen-VL、InternVL、CogVLM等。
3.多模态模型(视觉 + 语言)的微调与优化,如 Qwen-VL、InternVL、CogVLM 等系列;
4.基于 SFT、RLHF、DPO 等方法提升模型在 OCR 与文档场景下的理解与生成能力;
5.负责文档图像的去手写、去水印、增强与结构恢复任务建模(如 EraseNet、STRNet、Diffusion 等);
6.构建并优化试卷结构检测与版面分析算法,实现复杂试卷的区域分割与结构化;
7.优化推理性能与模型对齐效果,支持多模态模型在生产环境部署。
任职要求:
1.计算机视觉、机器学习、人工智能等相关专业;
2.熟悉多模态架构以及训练微调流程;
3.具备 SFT 或 RLHF 实践经验,能独立完成多模态模型训练与调优;
4.熟悉图像去除、增强、修复等任务的网络结构与数据构建;
5.有良好的代码工程能力与模型优化经验。