乐鱼平台

网易乐鱼平台 > > 正文

霸榜三大基准!优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

0
分享至

三大基准全榜登顶Thinker-WM 斩获三项第一

日前,优必选 Thinker-WM在三大公认具身世界模型基准评测中全部拿下第一名,刷新行业成绩:

WorldOlympiad:

Thinker‑WM 取得综合得分 0.740 位列榜首。该基准基于大量真实机器人交互数据构建,覆盖十余种不同机器人本体与多类相机配置,重点考核模型跨机器人形态、跨视角的泛化能力。模型取得 3D 一致性 0.531、交互保真度 0.765,两项单项指标位居全部参评模型首位,体现模型对三维几何结构与机器人交互过程的精准建模能力。



EWMBench:

Thinker‑WM 取得综合总分4.66,超过 Qwen‑RobotWorld、Sora2 等主流模型。EWMBench 完整考核场景一致性、机器人末端运动正确性、指令语义对齐三大能力维度。得益于表征层面的多模态联合建模,Thinker‑WM 在反映机器人轨迹时空匹配的 nDTW(归一化动态时间规整)、表征运动速度与加速度合理性的 Dyn(动力学一致性)等机器人运动核心指标上实现领先。



WorldArena1.0 Track-1:

在仿真环境基准 WorldArena Track‑1,Thinker‑WM 在视觉画质、内容一致性、物理合理性、3D 几何精度、指令遵循等 12 项关键评价维度整体领先,兼顾仿真环境下视觉生成质量与物理交互可信度。

Thinker‑WM 以表征层统一的Unified Dynamic Transformer(UDT)为核心,将 RGB 图像、度量深度、机器人动作纳入同一套共享动态表征联合演化,实现视频‑动作联合生成、世界预测、策略推理、视频转动作、逆动力学等多项能力合一,为具身智能提供新一代基础世界模型底座。



Thinker-WM技术突破:表征层面实现视觉、几何、动作多模态统一

让机器人在真实世界落地干活,最难的不是识别眼前物体,而是预判环境下一步变化。这也是世界模型存在的价值与意义,而过往世界模型普遍采用 “拼接式” 方案:视频生成负责画面、策略网络负责动作、几何预测负责空间信息,模块独立计算,再通过接口拼接输出。

但这套技术模型的问题在于,动作改变环境、环境约束动作,几何结构同时影响两者,物理上紧密耦合的信号被拆分到不同模块,丢失其内在因果关联。

举个例子,“一个杯子被推下桌子”这件事情,在语言里是一句话描述,在动作里是一串关节命令,在视频里是一段穿越画面的物体运动,在深度里是一组连续变化的距离场。四种表述指向的是同一个事件,而不是四个不同的对象。所以,要求模型生成其中任何一种,本质上都是在追问同一个过程。

但这种重叠又是不完全的。动作既不携带外观,也不携带上下文,同样的关节命令,放在空桌子上和放在杂乱的桌子上,含义完全不同。语言也不携带时空细节,“杯子被推下桌子”这句话,既没有规定从哪一侧推、用多大力、以什么速度推,也没有规定手的具体轨迹、杯子翻转几圈、最终落在哪里。视频不携带显式几何和度量,其仅使用一系列像素表示,既不知道杯子的尺寸,也不知道杯子的距离。深度也不携带外观、命名语义和意图,它给出表面在哪里、如何遮挡、如何接触,却不告诉你那是杯子还是桌布,更不告诉你为什么要推它。

针对这个问题,优必选 Thinker 团队给出全新解法:不在接口处做简单合并,而是在表征层面实现多模态统一。Thinker-WM(Thinker World Model)作为优必选自研统一多模态世界模型,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间,依靠一组共享参数联合演化。外观、几何、动作不再是三条独立流水线,而是同一个世界演化过程的三种表达形态。也就是说,Thinker-WM 的底层设计逻辑可以概括为:不同模态是同一过程的不同表述;模型将它们对齐到共享表征空间,并在这一共享表征上进行推理,而不是在模态接口上做条件组合。



Thinker-WM:视觉、几何与动作的统一建模框架

具体来看,RGB图像、深度信息、机器人动作分别通过各自的编码器映射到统一潜在空间,送入共享的统一动态Transformer(Unified Dynamics Transformer, UDT)进行联合时序建模,最终由各自的解码器还原输出视频、深度图、机器人可执行动作。这就意味着多模态的交互发生在Transformer内部,视觉token、几何token和动作token通过同一个注意力机制直接交换信息,而不是在输入或输出层做浅层拼接。

几何信息也不再只是辅助监督信号。Thinker-WM 把深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织。深度监督直接塑造共享表征,让物理空间结构成为世界模型的 “母语”,而非后期外挂补充模块,从而也能帮助人形机器人更准确地理解物理空间。统一建模的价值,也体现在机器人的实际执行效果上。在 RoboTwin 单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了 15 个百分点,说明空间几何信息不仅有助于模型理解场景,也能改善动作生成与任务执行。

3万小时异构数据让一个模型,解锁六种能力

依托多模态统一表征,所有模态共享同一组参数,Thinker-WM 可以通过灵活切换条件模态与生成模态,支持六大能力模式。



同一份权重,既能预判、想象未来画面,也能反向推演机器人执行轨迹,还能从视频中提取动作信息,这正是统一表征带来的核心技术红利。



3万小时异构数据撑起通用世界模型底座

统一表征能力的背后,是优必选规模丰富、类型多元的训练数据支撑。Thinker-WM 训练语料在具身智能领域具备可观体量:

· 约2万小时第一人称人类视频:覆盖家庭、商业零售、工业等场景,补足机器人遥操作难以低成本获取的任务、物体与场景多样性,同时配套约 1 千小时的对齐深度数据。

· 约1万小时真实机器人数据:来自多款不同形态机器人,提供视觉观测与可执行动作的配对监督,其中约 3 千小时配套对齐深度标注。

· 约1千小时仿真数据:提供高精度几何、物理监督信号

不同机器人动作空间、坐标系、控制协议差异巨大。Thinker-WM 的统一思想不仅应用于模型框架上,也应用于数据选择中。该模型统一使用末端位姿表示所有机器人动作,同时为不同机器人在token中嵌入专属标签。这样不同形态的机器人可以共享同一个生成空间,又能够保留精准的本体控制能力。

数据 Infra:让海量异构数据高效支撑统一模型训练

海量数据要转化为模型能力,离不开稳定、高效的数据基础设施。面对不同机器人、人类视频与仿真数据在格式、模态和标注上的差异,优必选 Thinker 团队构建了 Data Factory,将数据管理与训练采样解耦,让多源数据按模型需求灵活组合。



Data Factory:从多源异构数据到统一模型训练

Data Factory 围绕三个关键环节支撑训练:统一组织视频、状态、动作与语言信息,按需生成不同训练模式所需的样本;通过分层质检过滤异常片段,检查深度与视频对齐,确保训练信号可靠;通过异步预取与编码复用提前准备训练数据,减少等待与重复计算。

这套数据基础设施,让多源异构数据能够被可靠组织、灵活调用、高效供给,为 Thinker-WM 六种能力模式的联合训练与持续迭代提供工程支撑。

通过Motion Probe实验设计轻量化实验:验证跨模态表征真实耦合

表征层面统一多模态,听起来是架构设计上的创新,但有一个核心疑问:模型究竟是真的在共享空间学到视觉、几何、动作之间的耦合关联,还是只是并行处理多路信息,把不同模态简单放在一起?

为回答这个问题,优必选Thinker 团队设计了轻量级 Motion Probe(运动探针)验证实验。研究团队在冻结的UDT视觉表征上接一个极小的运动预测头,只训练这个头,看能否从纯视觉表征中恢复出末端执行器的位移。



Motion Probe示意图

实验结果证实猜想:探针预测误差很低。即使没有动作监督,视觉表征中也已经编码了与动作相关的运动信息。这一结果直接证明,表征层面的多模态统一真实生效,视觉感知和动作规划不是两条相互独立的链路,而是在共享潜在空间里实现深度耦合。

这意味着什么

这也进一步说明,Thinker-WM本次技术的突破的,价值远不止一次刷榜成果。它指明具身世界模型的底层新范式:

具身智能的世界模型不应该是 “视频生成器 + 策略头” 的简单组合,而是一套完整统一的生成过程——视觉观测、空间结构、动作规划,是同一个物理世界过程的不同表达。

当机器人能够在同一表征空间内同步推演画面变化、空间结构、动作轨迹,它对物理世界因果逻辑的理解便向前迈进一大步。这也是机器人从“可以执行任务干活”,迈向“能够理解真实世界”的关键跃迁。

Thinker-WM 现已完成在优必选机器人平台上部署验证,相关技术将持续赋能下一代具身智能系统。

来源:优必选科技

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不再隐忍!回国仅5天,樊振东愤怒发声,原来刘国梁的担忧是真的

不再隐忍!回国仅5天,樊振东愤怒发声,原来刘国梁的担忧是真的

大眼妹妹
2026-10-21 13:37:58
老人想买特斯拉被字体劝退!马斯克秒回:加 马上加

老人想买特斯拉被字体劝退!马斯克秒回:加 马上加

快科技
2026-10-19 11:28:11
笑不活了!网传央视记者团队来胖东来采访,走的时候买了一车的货拉走,网友调侃“没人能空手走出胖东来”成真

笑不活了!网传央视记者团队来胖东来采访,走的时候买了一车的货拉走,网友调侃“没人能空手走出胖东来”成真

火山詩话
2026-10-21 07:51:31
3岁男童双眼近视超600度,家长称老人用手机哄娃:每天玩四五个小时,不少时候还关着灯、在昏暗房间里看

3岁男童双眼近视超600度,家长称老人用手机哄娃:每天玩四五个小时,不少时候还关着灯、在昏暗房间里看

蓬勃乐鱼平台-乐鱼(中国)一站式服务平台
2026-10-21 20:42:51
A股:紧急提醒2.5亿股民!从明天10月22日起,A股可能再次历史重演?

A股:紧急提醒2.5亿股民!从明天10月22日起,A股可能再次历史重演?

趋势清风侠
2026-10-21 16:16:41
国台办:只要民进党当局承认“九二共识”,我们愿意就恢复两岸投资争端协处机制运作开展对话

国台办:只要民进党当局承认“九二共识”,我们愿意就恢复两岸投资争端协处机制运作开展对话

红星乐鱼平台-乐鱼(中国)一站式服务平台
2026-10-21 12:12:25
香菜成为焦点!调查发现:经常吃香菜的人,一段时间后或有5变化

香菜成为焦点!调查发现:经常吃香菜的人,一段时间后或有5变化

医学原创故事会
2026-10-14 19:30:11
“盒马的熟食铲怎么像猫砂铲?” 洛阳一消费者发帖后,盒马更换了厨具

“盒马的熟食铲怎么像猫砂铲?” 洛阳一消费者发帖后,盒马更换了厨具

信网
2026-10-21 17:43:06
脸都不要了,但还是低估了他们的下限

脸都不要了,但还是低估了他们的下限

胖胖说他不胖
2026-09-28 10:00:45
刘銮雄24岁女儿回应样貌长相,称很满意不会整容,自认长得有个性

刘銮雄24岁女儿回应样貌长相,称很满意不会整容,自认长得有个性

东方不败然多多
2026-10-21 11:16:53
山东男篮最多落后30 分,想起巩晓彬名言:看你们打球真是一种痛苦

山东男篮最多落后30 分,想起巩晓彬名言:看你们打球真是一种痛苦

姜大叔侃球
2026-10-21 21:49:53
南瓜子被关注!医生发现:吃得越多,肌少症老年人肌肉流失或越慢

南瓜子被关注!医生发现:吃得越多,肌少症老年人肌肉流失或越慢

路医生健康科普
2026-10-21 17:15:27
在中国播了40年的NBA,在腾讯体育迎来「全新境界」

在中国播了40年的NBA,在腾讯体育迎来「全新境界」

体育圈人
2026-10-21 22:57:40
破防了!一位美女妈妈在家长会上出圈,被吐槽“这是孩子的班会,不是选美大赛”,评论区吵翻

破防了!一位美女妈妈在家长会上出圈,被吐槽“这是孩子的班会,不是选美大赛”,评论区吵翻

火山詩话
2026-10-19 08:27:01
辽宁男篮主帅:段睿骐的防守做得特别好 我们最后时刻稳住了比分

辽宁男篮主帅:段睿骐的防守做得特别好 我们最后时刻稳住了比分

狼叔评论
2026-10-21 22:08:04
S家大姐家儿子也要出道了,居然比两个妹妹长得要好看

S家大姐家儿子也要出道了,居然比两个妹妹长得要好看

可乐谈情感
2026-10-21 05:50:34
珍娜·奥尔特加穿“钢条裙”亮相,为机器人角色造势

珍娜·奥尔特加穿“钢条裙”亮相,为机器人角色造势

影视情报室
2026-10-20 22:05:01
为什么总在凌晨两三点醒?老中医:是身体在提醒你这3个信号!

为什么总在凌晨两三点醒?老中医:是身体在提醒你这3个信号!

古怪奇谈录
2026-05-19 15:24:20
再也回不到,你记忆中的那个样子

再也回不到,你记忆中的那个样子

疾跑的小蜗牛
2026-10-21 21:10:09
在线求职?前CBA外援琼斯:很多队都实力平平;有8支用得上我

在线求职?前CBA外援琼斯:很多队都实力平平;有8支用得上我

懂球帝
2026-10-21 22:55:05
2026-10-21 23:12:49
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5816文章数 4917关注度
往期回顾 全部

SpaceX收入暴涨!马斯克:这事"不再不可能"

21岁男子稻城亚丁高反死亡 其姐与报警人聊天纪录披露

21岁男子稻城亚丁高反死亡 其姐与报警人聊天纪录披露

“我,对得起天津足球!”

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

昔日彩电一哥缘何在今天被挤下牌桌?

智驾摩尔定律一年十倍跃升 2028迎来L4拐点

态度原创

进博会前夕韩国忠清圈来沪推介旅游资源 沪韩业界共话合作新机遇

50岁的马伊琍,迎来了最佳赏味期

“复读6年的体育生,还跑得动吗?”陪读母亲执迷不悔,网友恨铁不成钢

无障碍浏览 进入关怀版