亿操盘张直政：具身智能需解决数据瓶颈，泛化性两大挑战

专题：2025世界机器人大会：AI大模型赋能机器人与具身智能产业新范式交流活动亿操盘

　　“2025世界机器人大会”于8月8日至12日在北京经济技术开发区开幕，“AI 大模型赋能机器人与具身智能产业新范式交流活动”作为2025世界机器人大会的专题活动于8月8日同期召开。银河通用联合创始人兼大模型负责人张直政出席并演讲。

　　以下为演讲实录：

　　大家好，非常荣幸来这里给大家分享我们公司最新的科研成果和商业化进展。首先介绍一下我们公司。

　　我们公司成立于2023年5月的一家人形机器人公司，我们的目标是构建大模型驱动具有高阶智能化水平的大脑，并将其和人形的硬件结合在一起，最终希望实现一个跨行业、跨领域通用的人形机器人。

　　我们带着这样的使命正在深耕面向真实场景落地应用的具身智能大模型，我们知道具身智能从传统的结构化的应用到完全非结构化的应用，需要解决两大挑战。

　　第一大挑战，要解决数据瓶颈。

　　第二大挑战，我们要用数据驱动，让机器人具有泛化性，从而实现在各个场景里的落地。

　　这个过程中，目前行业里有两个采集数据的主要方式。

　　方式一：用真实数据采集，相当于用遥操员来操控机器人的主臂来带动从臂来采集这样的真实数据，但是我们的具身大模型实际上可能需要数十亿到数百亿条数据才能让我们的模型达到一定的泛化性水平。

　　方式二：我们公司主推的通过仿真合成技术，在虚拟世界里训练大量的技能，然后把这些技能应用到真实世界里。

　　最近大家对于两条技术路线有着诸多讨论，有的人说和仿真数据相比，真实数据的质量更高。而我们要从更深层次来看待这个问题的本质，从机器学习的角度来看，具身智能模型有两个学习目标。

　　目标一：学习语义，需要理解环境、理解状态，理解任务，也就是希望机器人做什么。

　　目标二：希望机器人和人一样，有非常泛化的动作表现亿操盘，只有这样才能够稳定、准确地执行不同任务所需要的各种技能。

　　从这两个角度来讲，如果我们把仿真数据和合成数据对比，要看谁更有优势。从纹理的角度，这个也是我们人比较敏感的，确实是真实数据更真，但是现在的多模态大模型的水平几乎解决了这个问题，因为影响的是具身模型认不认识需要交互的物体。而真正影响具身模型动作表现的其实是几何、材质和轨迹。而在这三个维度，由于可以在仿真器里进行大量的randomization。超越真实存在的物体之外进行更高、更全面、更多样性的泛化，就能让模型学到更广的数据分布。

　　从这个角度来讲也是为什么用仿真合成数据训出来的机器人能够在对于没有见过的物体充分的泛化。这背后思考的逻辑首先要想为什么需要让机器人学习通用知识，大家知道人类的学习目标是让自己成为专家，但是机器人的学习目标是希望成为AGI，这个看似矛盾，但其实我们要想背后的道理，人学知识是从优先学广而多的知识，再转化成为学一个专但是难的专业知识。像我们从初中文理科都学，高中开始分科，大学、研究生才开始细分专业。

　　我们带着这样对于机器学习和人类学习底层逻辑的思考，推出的训练范式是把仿真数据和真实数据结合起来。在预训练阶段，由于难以获得大量的真实数据，并且真实数据它的动作重复定位精度、一致性、稳定性很差，所以仿真数据反而是预训练阶段非常好的训练素材。

　　后训练阶段，我们再用少量的真实世界数据让它在纹理的层面、语义的层面跟我们的任务目标进行对齐。带着这样的范式开始了从具身智能模型、实验室模型到商业落地水平的快速前进。接下来会给大家介绍首先在今年年初我们用十亿级的合成数据，来研究泛化的具身基础模型。有了这样的基础模型，就应该关注具身模型成功的标准是什么，什么条件下可以成功，什么条件下会失败，而不是把它成功时候的状态拍成视频，因为这样会有误导性，哪怕你的成功率只有1%，那你也可以拍成视频给大家看。

　　如果我们真的关心具身模型、具身能力能不能商业化落地，就需要从多维度、系统性的评测。

　　经过十亿级别的仿真合成数据的训练，我们的模型可以做到在没有见过的光照条件下进行高效的泛化，这个泛化条件包括冷光、暖光连续变化的光线和突然变化的光线，甚至在极端测试下当机器人让它抓指定物体，突然把灯关掉，并且用人手挪动这个物体的位置，我们的机械臂依然可以稳稳的出手。

　　除此之外，如果希望模型能够应用落地，能够泛化。它就需要应对环境的干扰，我们在它工作的时候对它进行各种扰动，依然可以有效的抗干扰，知道自己的目标在哪儿，知道如何达成目标。

　　我们不仅要有泛化的动作，而且要有对任务状态的理解。一个有效可落地、可应用的机器人它的大脑应该认知我的任务进行到哪步了，并且这步成功的条件和标准是什么。比如说我们让它帮我们拿一瓶怡宝矿泉水，这个过程中主动对它施加干扰，它实际上可以知道在这种状态下没有完成指令，需要继续执行这个任务，在这个领域称为闭环实时的策略来进行调整，直到把这个指令动作完成进行下一步。

　　刚刚给大家展示的是没有经过一条真实世界数据训练的机器人的泛化技能的展示，后训练用真实数据干什么，我们的思考是后训练并不需要让机器人学习新的技能，而是让它学会如何应用已经掌握的技能。比如说如果不经过后训练，我们的机器人就会随意挑选一瓶矿泉水把它抓出来。经过200条的真实数据后训练以后，它就懂得如何从左往右，从前往后规则的去放。这种对于技能使用方式更高的要求是我们用后训练极少量的真实世界的数据教它的。

　　学完以后也可以把这种职业需要的特定技能泛化到没有见过的SKU上，比如说龙山泉、东方树叶，瓶子的形状、饮料的颜色还有接触的材质完全不同，依然可以举一反三。

　　从一个桌面抓取模型如何做到真正可商业落地，真正打穿一个场景成规模的去落。我们上半年的努力告诉我们，首先做一个定材泛化的技术模型，然后又很快把它从桌面抓变成立面取，但是在第二个状态的时候，这个货架依然是一个稀疏摆放的货架，就像今天WRC的现场也有很多这种稀疏摆放的货架。

　　第三阶段我们要解决密集摆放，在密集摆放的货架里就不能找到一条无缝杠的轨迹把物体取下来，需要让模型理解它的动作会对整个货架产生什么影响，从而让模型能够成功的以对周围环境最少干扰的方式，最稳定、最安全可靠的方式把瓶装物体取下来。

　　第四阶段做到百分之百真实还原的货架上应用落地，既支持平面摆放，又支持挂状。昨天我们也在北京市和海淀区的支持下在中关村大融城开业了一家由机器人运营的智慧零售太空仓，欢迎大家去体验。

　　这个过程中，我们也把在后训练阶段的规则取放的技能放到了落地产品里去，当它取的时候可以按规则从左往右、从前往后有规律地取。这背后是端到端VLA模型自动泛化的过程。同时如果我们希望这样的模型不仅用在无人场景，也用在有人的场景里，我们需要模型进一步具有什么样的能力，就是抗干扰。

　　比如说当它想取物体的时候突然被拿走，或者人突然放上去以后，它能不能知道，另外尽量少干扰货架里的其它物体，比如说当有人干扰它往右推，往左推，往后推的时候，我们的模型依然知道它的目标在哪儿，知道如何完成目标。

　　这个就是我们前两周在WAIC上的具体展示。我们是国内第一家做到在各种瓶装、罐装、盒装、桶装包括放置、挂置的真实货架上做的商业落地应用的机器人，这背后是非常高效的仿真合成数据的支持以及少量真实世界数据的微调。

　　这个过程中我们也展示了我们的技能，体验我们的机器人服务是否可靠，是否高效。

　　从WAIC回来短短一周时间，借助我们非常强大的基座大模型，我们再次进化，一周之内学会了双手取。大家知道人类是很难一心二用的，但是机器人可以，现在这个阶段可以让机器人左手和右手同时开工，拿取不同的物体，接下来甚至可以做到让机器人左手和右手干不同的家务，只有机器人做到这点，不仅可以逼近人类工作的效率，甚至可以超过人类干活的效率，这背后就是虚实结合的大模型训练的数据生产的技术和训练的技术。

　　除了货架场景，我们也用我们的仿真合成的基座和产线来生产大规模双手柔性操作。在柔性操作上也可以做到跨衣服种类、颜色、款式这样一个高效的真机泛化。除了柔性操作，最近也和宇树合作，开发可以直接在真实世界里不需要建图的导航大模型，这种导航大模型可以在真实世界里听得懂你的指令，辨得明场景里有什么，做得准跟踪交互对象的任务，并且当你的跟踪目标在视野中消失的时候，可以利用大模型的推理能力来预测和推断你从哪个方向消失。

　　我们把它和商用的无人机方案对比，我们会发现无人机的方案采用非端到端模块化的系统，当人从它的视野中消失的时候就无从判断，不能再跟随。我们的大模型有了推断和预测能力以后可以紧紧的跟着它的主人，这样一个导航大模型的真机演示我们也带来到WRC的现场，也欢迎大家去我们的B108展台去深度体验。

　　除了导航大模型，也把它和操作技能结合在一起，让我们的机器人真正在我们身边进行泛化的移动操作，为我们捡垃圾，能够主动的提供各种各样的服务。这个就是经过改装的宇树机器人在北大校园里通过全身运动控制来泛化的捡垃圾，甚至能不需要发送指令，它就可以理解需要干什么。

　　除了这些主要的应用以外，我们还在各行各业推展我们的大模型，这是我们跟外卖APP打通，已经在北京某些地区开了10来家由Galbot运营的无人零售仓，大家在APP上下单，极有可能是我们的机器人在它的仓库为大家自动地分拣，自动地打包，自动地把它交给外卖员。除此之外，我们也开了零售仓直接面向顾客，大家可以体验和交互。

　　除此之外，我们也和国际车厂合作，在它的工厂里进行泛化的SPS分解，把这种具身智能技术除了零售带到工业领域，真正的让它成为我们的新质生产力。

　　我们也同时推进和国内车企的合作，在它产线上进行货箱搬运。我们还快速拓展海外市场，这个是在中东七星级酒店里进行泛化的迎宾接待，这样的一个机器人它的背后除了硬件保障还有智能大脑，它的大脑不仅要能够输出泛化的动作，还要同时输出跟大家自然交互的语言，这样才给大家提供一个很好的产品体验。

　　我今天给大家短暂介绍就到这里，非常欢迎大家关注我们公司的一些商业化进展和科研上的突破，希望我们的产品可以尽快来到你的身边。谢谢大家！

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。