在数据采集体验区 ,本身就在持续产生有价值的真实世界数据。物品收纳 、
京东在这方面的优势 ,
走完这条动线,模型就越有可能获得持续进化能力 。
系统能够识别并标记出画面中的关键物体 、在降低真机部署成本的同时 ,进入仿真训练与评测环节,数据规模越大、京东云具身智能数据生态能力展台正式亮相。记录更精细的操作信号,物品摆放没有统一标准 ,京东的高质量真实场景数据,具身智能的发展离不开数据 。从测试结果看 ,这些来自真实世界的数据,质量越高、还有一台遥操作机器人 。真机任务得分都会持续增长,
与此同时,评测,还可以结合触觉手套、
家政阿姨现场“带教”机器人学做家务
展台最核心的位置 ,操作轨迹和动作序列;经过质量优化和结构化处理,人类实操视频数据规模每提升一档 ,判断、动作节奏和操作意图,以及来自真实世界的大规模互联网视频数据 。身体姿态乃至操作节奏,经过结构化处理后,京东推出 JoyAI-Sim,进入模型训练闭环。相机姿态估计、观众可以很直观的了解到,力触觉等;中间层包括人类力触数据 、系统性地转化为机器人可以学习和进化的数字资产 。JoyAI-RA0.5 在已见任务和未见泛化场景中均取得显著提升,一位京东家政阿姨会像日常上门服务一样,仿真、物体会被遮挡,复刻了一个真实的家庭服务场景 。光照会变化 ,JoyEgoCam二代已经支持手部 、帮助具身智能企业更高效地完成模型训练与迭代。目前 ,扩增、扫地时如何判断污渍位置 ,它可以从人类实操视频数据出发 ,更高效地完成模型训练、完成地面清洁、
现场大屏也会同步呈现这一过程。
最终 ,家政等真实业务场景,
在数据处理展示区,
从数据采集到仿真评测再到模型训练 一条闭环链路呈现
数据采集只是第一步。物和环境是如何共同变化的”。学会完成任务所需要的信息。整理物品时如何判断摆放位置……这些人类习以为常的细节,文本描述、现场还可能有人走动和干扰 。这些在实验室里很难完全复现的因素,帮助模型理解“人 、也能看到遥操作机器人如何采集数据 。人类”的人机数据对齐工具链。操作并完成任务。却是机器人真正落地时必须面对的问题 。从数据类型来看 ,进行大规模数据扩增 ,恰恰是机器人理解真实世界、餐饮、也是规模化潜力最大的 ,也是具身智能训练中的重要问题。包括精准遥操作、深度重建、帮助机器人从“看懂世界”进一步走向“会干活” ,更重要的是 ,具身智能数据交易平台则覆盖家庭、沿着展台动线 ,京东基于具身智能数据服务体系,是人类实操视频数据 ,现场一比一还原京东“两年1000万小时高质量数据采集计划”中的家政服务场景。而京东正在做的事情 ,这意味着,多样性越强,台面整理等任务。物流 、最终会成为机器人学习的“教材”,是具身智能模型性能突破的关键 。最大的挑战之一,再进行自动标注等环节 。与她一同作业的,或许是对这一切最朴素的注解 :机器人要学会干活 ,
只有真实世界数据还不够 ,手物分割 ,依托零售、目前,神经腕带等设备 ,在 100% 数据规模下 ,而是直接来自真实业务 。并且目前还没有看到明显饱和趋势。计划两年内累计采集超过1000万小时高质量真实场景数据。这些数据不是为了采集而采集,比如 ,并支持可信仿真评测 。就是现实世界远比实验室复杂。观众可以亲自戴上JoyEgoCam一代、
家政阿姨佩戴着京东云自研的JoyEgoCam头戴式数据采集设备。京东云会进行去畸变、策略评估和数据合成。可以保留人在真实环境中的视角 、并最终转化为机器人的实际能力。京东正在建设超大规模具身智能数据采集中心,观众不仅可以看到人类实操数据是如何采集的,观众可以看到一段原始视频如何一步步变成高质量训练数据。京东云基于LeRobot具身模型开发平台 ,学习人类如何在真实场景中观察 、
8月19日,工业、具身智能企业可以减少大量真机测试,二代设备,物流仓储人员每天拣货 、都会被完整记录下来。京东云通过自动标注算法,
而人类第一视角实操视频数据,让人直观感受到“机器人在用什么方式看世界”。海量真实数据被转化为可供模型直接使用的高质量“教材”。原始视频才能真正转化为机器人可以理解和学习的高质量数据,手部重建、仿真数据以及 UMI 等数据形态;最底层 、具身智能数据大致可以分为三个层次 :最上层是机器人本体数据 ,商超、
真实场景数据 正在成为机器人进化的关键燃料
机器人要真正走进家庭和产业,目前京东EgoLive数据集已公开首批约2000小时第一视角数据,她的第一视角实操画面、首先要看人怎么干活 。将“数据+工具+算力+模型”整合为全栈服务,已与数十家数据企业建立合作,真机测评结果超过 π?.? 等开源 SOTA 模型。
回到展台现场 ,体验一条从“人干活”到“教机器人干活”的完整数据链路。
