今年3月，谷歌推出了其最强VLA（视觉语言动作）模型Gemini Robotics。今日推出的Gemini Robotics On-Device是Gemini Robotics经过优化的版本，也是其首个可供微调的VLA模型，可在本地机器人设备上运行，具备强大的通用灵活性和任务泛化能力。 同时，谷歌还推出Gemini Robotics SDK，帮助开发者评估Gemini Robotics 在设备上的性能，包括在MuJoCo物理模拟器中进行测试。开发者只需50-100个演示即可完成模型评估，让机器人学习新技能。 该模型一经发布引起近30万社交平台X用户围观，有用户称：“这些设备内置模型让Gemini Robotics稳稳地走上了成为‘机器人界的安卓’的道路。最终，OEM（集成）厂商只需专注于打造最优秀的机器人硬件，Gemini只需作为‘大脑’即可。” Gemini Robotics On-Device是一个为双臂机器人设计的基础模型，可以最大限度地减少计算资源需求。它基于Gemini Robotics的任务泛化和灵活性功能，并且具备以下特点： Gemini Robotics On-Device在广泛的测试场景中实现了强大的视觉、语义和行为泛化，遵循自然语言指令，可以顺畅完成诸如拉开袋子、叠衣服等高度灵巧的任务。所有这些都是在机器人上直接操作时完成的。 在谷歌的评估中，Gemini Robotics On-Device在完全本地运行时表现出强大的泛化性能。下图是其与谷歌Gemini Robotics旗舰模型和之前最好的设备模型进行比较的结果，Gemini Robotics On-Device在Visual Gen、Semantic Gen、Action Gen三项测试中均获得最高分。 在更具挑战性的分布式任务和复杂的多步骤指令方面，Gemini Robotics On-Device模型的表现也优于其他设备端替代方案。下图是Gemini Robotics On-Device的指令跟踪性能评估结果，其与旗舰Gemini Robotics模型和之前最好的设备模型相比得分都更高。 虽然许多任务可以直接运行，但开发者也可以选择调整模型，使其应用??获得更佳性能。Gemini Robotics On-Device能够快速适应新任务，只需50-100次演示即可完成，这充分表明了该设备端模型能够将其基础知识推广到新任务的能力。 谷歌展示了Gemini Robotics On-Device在涉及微调至新模型的任务上如何超越目前最佳的设备端 VLA。他们测试了该模型，涉及了七项不同难度的灵巧操作任务，包括拉开午餐盒拉链、画卡片和倒沙拉酱等。 谷歌还进一步调整了Gemini Robotics On-Device，使其适用于不同的机器人。虽然其仅针对ALOHA机器人训练了该模型，但他们能够进一步将其适配到双臂Franka FR3机器人和Apptronik的Apollo人形机器人。 在双臂Franka上，该模型可以执行通用指令，包括处理以前未见过的物体和场景、完成折叠衣服等灵巧的任务，或执行需要精确度和灵巧性的工业皮带组装任务。 在Apollo人形机器人上，谷歌调整了模型，使其适应截然不同的形态。同样的通用模型可以遵循自然语言指令，并以通用的方式操控不同的物体，包括之前从未见过的物体。 值得一提的是，Gemini Robotics SDK支持开发者根据自身需求调整模型，进一步加速创新。下一步，我们有望看到更多机器人开发者利用这些新工具构建具有创新应用的机器人。
