Video · Interaction · Worlds

roomhub

从视频出发,构建可交互的世界

让重建场景成为可以行动、试验与学习的环境。

02 / Overview

看见一个世界,也能在其中行动。

视频记录了世界的外观,也留下了物体结构与运动方式的线索。Roomhub 探索如何利用这些线索,把视觉重建转化为可编辑、可操作、可验证的 3D 环境。

我们希望连接视觉重建、智能体装配与交互测试,让重建出来的世界能够承载游戏玩法、具身学习和可重复的实验。

观察重建交互学习

03 / Architecture

从视频观测,到可执行的环境

研究路线

恢复场景结构,为部件赋予行为,再通过实际执行检验这些行为。测试中发现的问题,会回到装配环节继续修正。

研究架构:视频观测经过视觉重建得到结构化场景;Blender 智能体装配活动部件和物理参数,经执行、检查、修正循环后输出可交互环境,用于游戏和具身智能。

左右滑动查看完整架构

Fig. 01整体研究路线示意。上方 Demo 展示当前交互原型,完整流程仍在研究与开发中。
  1. 01

    恢复结构

    从观测估计几何、相机位姿与物体结构,连接视觉外观和可编辑的几何表示。

  2. 02

    构建行为

    让智能体识别活动部件,设置关节、运动范围、碰撞几何与物理参数。

  3. 03

    执行与修正

    在环境中执行交互、观察结果,以失败案例指导下一轮修改。

04 / Research questions

怎样的重建世界,才真正可用?

我们关注如何共同检验视觉一致性、行为可执行性与任务层面的可用性。

层次研究问题观察什么
01结构能否恢复决定物体如何工作的部件与空间关系?几何形状、部件边界、关节位置与场景布局。
02行为物体在开合、推拉和接触时,能否作出合理响应?运动范围、接触关系、穿模与物理稳定性。
03任务单个物体的交互,能否组合成可重复的任务?动作序列、状态变化与任务完成条件。

05 / Vision

日常世界,新的可能。

我们从房间出发,研究的问题则面向更广泛的环境:只要其中有物体、有动作,也有动作带来的结果。

Roomhub 原创阅读与聆听室示意图
A familiar place, a new world.一个房间,是一个起点。
01

为游戏创造世界

我们希望,一段自己家的视频就能成为可游玩的场景:在 The Sims 这样的游戏里,重新布置它,或者住进去。

现实空间 → 可游玩的世界
02

为智能体提供练习场

构建源自真实空间的练习环境,让智能体探索物体操作、接触和多步任务,为能力向现实世界迁移提供基础。

观察 → 练习 → 迁移
03

让交互能力可以检验

用可执行任务研究物体属性与交互结构如何影响任务成功,让失败原因能够被检查和复现。

动作 → 结果 → 证据

06 / Project status

研究,正在进行。

当前可在浏览器中操作的交互视频对比,覆盖柜门、抽屉及关节部件。

下一步连接重建、智能体装配与执行验证,扩展物体、场景和任务的多样性。

回到交互演示