通过搭建网络搜索工具、构建多模态搜索数据集以及涉及简单有效的奖励机制，首次尝试基于端到端强化学习的多模态模型自主搜索训练 其性能不仅超越同规模模型在传统检索增强生成（RAG）工作流下的性能，更在减少约30%搜索次数的前提下，达到了更大规模规模模型做传统RAG的性能水平。 近年来，随着视觉-语言训练数据集在规模和质量上的双重提升，多模态大模型（Large Multimodal Models, LMMs）在跨模态理解任务中展现出卓越的性能，其文本与视觉知识的对齐能力显著增强。 然而，现实世界的信息具有高度动态性和复杂性，单纯依靠扩大训练数据规模的知识获取方式存在固有局限：难以覆盖长尾分布的知识、无法获取模型训练截止日期后的新信息，以及难以触及私域信息资源。 在此背景下，网络搜索作为人类获取新知识的核心途径，被视为扩展模型能力边界的重要工具，正受到学术界的高度重视。 MMSearch-R1集成图像搜索和文本搜索两种工具，以满足模型应对视觉问答任务的需求，其中图像搜索工具基于Google Lens，支持搜索与用户图像视觉外观匹配的网页标题以及主要缩略图，用于帮助模型准确识别重要的视觉元素。 文本搜索工具由Google Search，JINA Reader以及用于网页内容总结的语言模型构成的链路组成，支持搜索与模型生成的搜索内容最相关的网页及其内容摘要，用于帮助模型精确定位所需文本知识与信息。 MMSearch-R1采用GRPO作为强化学习算法进行模型训练，基于veRL框架实现集成多轮对话与搜索的Rollout过程，在每轮对话中，模型首先进行思考，并执行可选的动作，如调用多模态搜索工具与真实互联网进行交互，或给出最终的答案。 MMSearch-R1的奖励函数由准确性得分和格式得分两部分以加权求和的形式构成，其权重分别为0.9和0.1，分别衡量模型是否准确回答了用户问题（模型所给答案与真实答案作字符串精确匹配）以及遵循了既定回复格式。 为了激励模型优先利用自身知识完成作答，还会对调用搜索工具才获得正确答案的回复进行惩罚（搜索惩罚因子为0.1），最终奖励函数为: 为了有效训练模型实现智能化的按需搜索能力，研究精心构建了FactualVQA（FVQA）数据集，包含训练集和测试集。该数据集的构建采用了一套精心设计的半自动化流程，重点聚焦于需要丰富视觉与文本知识支持的问答场景。 团队首先基于MetaCLIP的元数据分布进行多层次采样，确保覆盖从高频到长尾的多样化视觉概念（Visual Concept），并从互联网中搜索与视觉概念最相关的图片，基于GPT-4o生成事实性问答对。 为增强数据集的文本知识维度，团队还从InfoSeek训练集中筛选了具有代表性的问答样本进行补充。为确保数据质量贴近真实应用场景，FVQA还补充了800个由标注人员标注问答对样本。 完成初步数据采集后，通过一个粗训练的模型对现有样本进行分类，检查每条数据的搜索必要性，最终训练数据集包含约3400个需要搜索的样本和1600个无需搜索的样本。 在FVQA-test、InfoSeek等知识密集型VQA任务中，MMSearch-R1-7B的平均准确率比同等规模模型的传统RAG基线高出约3%搜索比率降低了32.9%，同时能够媲美32B模型RAG基线的效果。 经过强化学习训练，模型提升了优化搜索内容以及处理搜索结果的能力（下图左，经过强化学习的模型执行RAG Workflow性能要好于原始模型），同时增强了挖掘利用自身固有知识的能力（下图右，模型提升了不搜索即可回答正确的比率）。 最后总结来说，MMSearch-R1是一个基于强化学习的创新框架，赋予多模态大模型在真实互联网环境中执行智能按需搜索的能力。该框架使模型能够自主识别知识边界，进而选择图像或文本搜索方式获取所需信息，并对搜索结果进行有效推理。 团队表示，该研究为开发具备现实世界交互能力的多模态大模型提供了重要洞见，为构建自适应、交互式的多模态智能体奠定了基础。期待随着模型通过更多工具与现实世界的持续交互，多模态智能将在推理和适应能力上实现新的飞跃。
