AI资讯
京东开源JoyAI-EchoWM交互式视听世界模型，一套控制接口同时生成画面、环境音与人声
发布时间：2026年09月14日 13:00:00京东探索研究院在2026京东数字科技大会（JDD）上正式开源交互式视听世界模型JoyAI-EchoWM，并同步放出轻量流式版本EchoWM-Flash Preview。该模型创新性地将离散按键映射为连续六自由度相机轨迹，用同一套控制接口同时生成视频画面、环境音、背景音乐与人声，支持第一人称漫游与第三人称跟随。在WBench Navigation 158个测试案例上平均得分81.7，官方同时说明尚无显式持久三维记忆。
导语
9月14日，京东探索研究院在2026京东数字科技大会（JDD）上正式开源了JoyAI-EchoWM——一款同时处理视觉和听觉信号的交互式世界模型。与当前市面上主流的「分别用文本生成视频、分别用文本生成音频」的多模态方案不同，JoyAI-EchoWM用一套统一的相机控制接口同时驱动画面、环境音、背景音乐和人声的生成，真正实现了「输入一个动作指令，世界就响应」的交互式体验。
核心技术：统一相机意图驱动视听同步
JoyAI-EchoWM的核心创新点在于其相机控制机制：
- 六自由度（6DoF）控制：用户输入的不是一段文字描述，而是一个六自由度的相机轨迹（前进、后退、左转、右转、上升、下降），模型根据相机移动方向和速度，自动在内部生成对应的视觉帧序列和音频信号
- 视听同步生成：画面中出现街道时自动生成街道噪音、出现咖啡馆时自动生成背景音乐、出现对话对象时自动生成语音——音频和视频不是分别生成再拼接，而是同一网络权重下同时输出，不存在同步误差
- 轻量流式版本 EchoWM-Flash Preview：为实时应用场景提供推理速度提升4倍的轻量化版本，可在消费级RTX 4090显卡上实现约12FPS的实时交互式渲染
京东探索研究院世界模型团队负责人介绍，这一设计理念受到了第一人称电子游戏的启发——玩家在3D游戏中移动时，游戏引擎会同步更新画面和声音，JoyAI-EchoWM试图用神经网络学习出同样的「世界响应逻辑」。
性能评估与已知局限
京东团队在自研评测集WBench Navigation（158个导航场景测试案例）上的评估结果：
| 模型 | 平均得分 | 说明 |
|---|---|---|
| JoyAI-EchoWM | 81.7 | 当前开源的视听世界模型中最高分 |
| Google Veo 2（纯视频） | 73.2 | 只能生成视频，无法生成配套音频 |
| 字节 Seedance（纯视频） | 71.5 | 同上 |
| Sora（纯视频） | 68.3 | 同上 |
已知局限：京东团队在技术报告中坦诚了两个关键局限——
- 尚无显式持久三维记忆：当相机回到之前访问过的位置时，模型无法保证生成与之前完全一致的场景细节
- 长时程生成漂移：超过2分钟的连续交互后，场景的物理一致性可能出现偏差（如重力感消失、物体凭空出现）
应用场景前瞻
京东探索研究院表示，JoyAI-EchoWM的开源定位是「交互式世界模型的基础底座」，而非直接面向C端的消费级产品。当前探索的应用方向包括：
- 电商3D漫游：用户在京东APP中用VR头显漫游虚拟商品展示间，相机移动实时驱动场景更新
- 智能体训练环境：为通用AI智能体提供可交互的虚拟世界进行预训练（类似强化学习中的游戏环境）
- 影视预演：导演用第一人称视角快速预览分镜方案，调整相机运动后即时看到视听结合的效果
开源信息
- 代码仓库：github.com/JoyAI/JoyAI-EchoWM
- 轻量版本：EchoWM-Flash Preview（可在RTX 4090上实时运行）
- 许可证：Apache 2.0
- 技术报告：已同步提交至arXiv（2609.08723）
Sources
- 京东探索研究院 JDD 2026 技术报告
- Toast.com.cn（2026-09-14）：京东开源交互式视听世界模型JoyAI-EchoWM
- arXiv（2026-09-09）：JoyAI-EchoWM: Interactive Audio-Visual World Model via Unified Camera Intention