来自Meta的研究人员推出了SceneScript，只需要70M参数，仅采用编码器解码器架构，就能将真实世界的场景转化为几何表示。

SceneScript 详细介绍
1. 功能介绍
SceneScript 是一种新颖的场景表示方法，它能够直接从视频流中预测出完整的3D场景模型，以结构化语言命令序列的形式。这种方法的核心是使用自回归、基于令牌的方法，与以往将场景描述为网格、体素网格、点云或辐射场的传统方法不同。SceneScript 的场景表示受到最近在变换器（transformers）和大型语言模型（LLMs）以及“下一个令牌预测”自回归方法的启发。

2. 使用方法
使用 SceneScript 的基本步骤如下：

数据输入：SceneScript 接收室内环境的自我中心视频作为输入。
编码器处理：通过编码器（如点云编码器、图像集编码器或组合编码器）将视频序列编码成潜在的场景代码。
自回归解码：使用自回归解码器将编码的潜在场景代码解码成结构化语言命令序列。
场景解释：通过解析命令序列，可以轻松地获得3D场景。

3. 适用场景
SceneScript 适用于多种场景，特别是对于室内环境的3D建模和理解。它可以用于：

建筑布局估计：推断建筑元素，如墙壁、门和窗户。
3D对象检测：检测和识别场景中的3D对象。
虚拟现实：在VR头显中实时重建和探索环境。

4. 适用人群
SceneScript 适用于以下人群：

计算机视觉研究人员：探索新的场景表示和理解方法。
机器学习工程师：开发和部署基于视频的3D场景重建模型。
室内设计师：快速创建和修改室内布局的3D模型。
游戏开发者：生成游戏中的室内环境布局。

5. 优缺点介绍
优点：
紧凑性：纯文本形式的场景表示大大减少了内存需求。
准确性：设计良好的命令能够产生清晰且定义明确的几何形状。
可解释性与可编辑性：使用高级参数化命令，易于理解和编辑。
扩展性：可以通过简单地添加新命令来扩展语言，适应新的任务。
缺点：
手动定义：当前结构化语言命令需要人为定义，需要人工干预。
细节捕捉：高级命令可能难以捕捉极高精度的精细几何细节。

工具分类标签推荐
3D重建，场景理解，计算机视觉，机器学习，虚拟现实