情综合婷婷色五月蜜桃

【新智元导读】GRIT能让多模态大语言模型（MLLM）通过生成自然语言和图像框坐标结合的推理链进行「图像思维」，仅需20个训练样本即可实现优越性能！ 让模型在「想」（生成推理链）的同时「指」（输出精准框坐标），从而让「慢思考」不再停留在纯自然语言，而是真正做到「所见即所想，所想即所指」。 推理链c—以开头，模型边写自然语言，边在需要时插入[x1,y1,x2,y2]形式的框坐标，之后 引导的重思考将进一步整合框坐标对应的图像信息； 输出框坐标后，模型不会再回读对应像素，而是继续token输出，要求模型理解并利用框坐标信息，融入后续推理，就像模型给自己出了一道Referring Expression Generation（REC）任务一样。 在此范式之下模型的输出里的框坐标可以直接画出，成为其推理的「看图」依据，读者既能读到它的思考，也能顺着坐标直接验证图中证据。 插入的边界框[x1,y1,x2,y2]语法是否有效、坐标是否在合法区间内。 通过惩罚任何格式错误，模型很快学会在文字与坐标之间灵活、规范地切换。 计数奖励 (r_count)：对于要求回答某物体数量的问题，计数奖励的信号鼓励模型的输出要数量上符合答案，最好一个框对应一个相关物体。 r_count对比推理链里框的个数与真实答案中的数量：二者一致即得分，否则扣分；可以让模型在标记目标时兼顾完整性，避免多框、漏框或随意画框。 答案正确性奖励 (r_ans)：最终答案是否答对，由GPT-4o进行语义评估并结合BLEU相似度给分。 这样的「老师」对自然语言表述具有强鲁棒性，避免模型钻格式空子，也进一步降低了人工评判成本。 在6个测试集中，用GRIT方法，模型推理结果的准确性（ACC）相对于没有经过训练的基线明显提高。而基线模型表现出割裂的定位与推理能力，他们无法兼顾在定位目标物体来画框上比较准确的同时在回答问题上更加正确。 结果表明，随着数据规模的增加，模型准确率虽可以进一步提高，但跨领域泛化依旧是难点。即使同类训练数据增加，在与训练域差异较大的测试集上模型提升依然有限，提示未来需要更丰富、更异质的训练数据，而不只是「更多同类题」。 即便是极小样本设置，GRIT也能让开源MLLM同时获得「画得准、讲得清」的能力，并且画框和推理在模型输出中相辅相成；进一步放大数据规模，则带来渐进式收益，并揭示了跨域推理的新挑战。