Upper Cave Robotics山顶洞机器人
Upper Cave Robotics山顶洞机器人
Scroll向下浏览

Upper Cave Robotics 山顶洞
机器人

Dedicated to training general-purpose System-1 models. 致力于训练通用的系统 1 模型

Hey! We're Upper Cave Robotics. 你好，我们是山顶洞机器人。

Through pre-training on massive egocentric (ego) data, we transfer human manipulation knowledge into our models. With humans as the anchor, we build a general-purpose, cross-embodiment System-1 model for robots. 我们通过海量第一视角数据预训练，将人类的操作知识迁移到模型中，以人类为锚点，实现跨本体的通用机器人系统 1 模型。

MULTIMODAL INPUTS 多模态输入 ENCODERS 编码器 WORLD ACTION MODEL 世界动作模型 OUTPUTS 输出 Ego Video 第一视角视频 Egocentric · multi-view 第一视角 · 多视角 Language 语言指令 Task instruction 任务描述 Proprioception 本体感知 Joint & hand state 关节 / 手部状态 Embodiment 本体信息 Morphology prompt 形态提示 Video Tokenizer 视频分词器 Causal encoder 因果编码器 Text Encoder 文本编码器 Language model 语言模型 State Projector 状态投影 MLP 多层感知机 Embodiment Embed 本体嵌入 Learnable token 可学习词元 Diffusion Transformer 扩散变换器 Joint world–action tokens (actions noised) 世界–动作联合词元（动作加噪） AdaLN-Zero · t 自适应层归一化 · 时间步 Self-Attention 自注意力 3D RoPE 三维旋转位置编码 Cross-Attention 交叉注意力 Language condition 语言条件 MLP 多层感知机 Feed-forward 前馈网络 × N 多层堆叠 Predicted future world + actions 预测的未来世界 + 动作 World Prediction 世界预测 Tokenizer decoder → future frames 分词器解码 → 未来帧 t+1 t+2 t+3 第 1 帧 第 2 帧 第 3 帧 Action Heads 动作输出头 Human-anchored action space 以人类为锚点的动作空间 Humanoid 人形机器人 Single Arm 单臂 Dual-Arm 双臂 Dexterous Hand 灵巧手 Pre-training 预训练 ●Massive egocentric human data ●海量第一视角人类数据 ●Human as the anchor ●以人类为锚点，迁移操作知识 ●Cross-embodiment System-1 model ●跨本体通用系统 1 模型
World Action Model — architecture overview 世界动作模型架构示意

Training data pipeline训练数据管线

From human video to robot-ready data. 从人类第一视角视频，到机器人可用的训练数据。

Every egocentric clip is captured, perceived, reconstructed in 3D and retargeted across embodiments before it enters pre-training. 每一段第一视角视频都要经过采集、感知、三维重建与跨本体重定向，最终进入模型预训练。

Capture采集

Perception & labeling感知与标注

Reconstruction & retargeting重建与重定向

Our Vision愿景

To become the tools that connect AGI with the physical world. 成为连接通用人工智能与物理世界的工具