复旦大学团队在 NeurIPS 2026 上推出 F2G-Pose,这是一套面向类别级 RGB-D 物体位姿估计的实时框架,只用一张分割好的 RGB-D 图像,经过一次前向推理,就能同时输出物体 6D 位姿、公制尺寸、相机坐标系下补全后的完整三维形状,不用迭代采样、不用提前准备每个物体的 CAD 模型,在精度和推理速度上做到同步提升,适合机械臂抓取、机器人感知这类落地场景。过去同类方案要么分步预测容易出现误差层层传递,要么用扩散模型反复采样,速度很慢,很难满足机器人实时感知需求。F2G-Pose 把 RADIO 主干提取的基础视觉特征映射到三维局部点云上,靠 DGCNN 做局部几何编码,再用混合专家 Transformer 融合全局物体结构信息,模型分成并行两个分支,一支输出位姿和尺寸,另一支完成形状补全,形状预测反过来做几何监督,约束位姿预测的尺度保持一致。它只用 SOPE 合成数据集做位姿标注训练,主干 RADIO 权重冻结,在 SOPE、ROPE 等公开基准数据集拿到 SOTA 结果,在 RTX4090 显卡上,只跑位姿分支可以达到 28FPS,开启完整形状补全分支也有 24FPS,团队还在真实机械臂抓取实验验证了这套 F2G-Pose 方案的可用性。
F2G-Pose 基础信息清单
- 论文全称:F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
- 收录会议:NeurIPS 2026
- 研究单位:复旦大学、上海创智学院
- 输入条件:已经完成目标分割的 RGB-D 单帧图像
- 输出结果:物体 6D 位姿、公制尺寸、相机坐标系完整三维点云形状
- 推理硬件:RTX 4090
- 推理速度:仅位姿分支 28FPS;全模型(位姿 + 形状)24FPS
- 基础主干:RADIOv2.5(冻结参数)
F2G-Pose 核心技术模块
- 基础特征提升模块:将二维稠密视觉基础特征映射到观测到的局部三维点云,打通图像特征和三维几何信息。
- DGCNN 几何 Tokenizer:对点云做邻域几何编码,提取物体局部曲面结构特征。
- MoE 混合专家 Transformer:整合物体全局结构信息,区分不同类别的物体几何规律。
- 双预测分支
- 位姿尺寸分支:直接输出物体旋转、平移、真实物理尺寸
- 形状补全分支:输出相机坐标系下 2048 点的完整物体点云,采用由粗到细重建
- 联合几何监督:形状补全任务提供稠密几何约束,保证尺寸、位姿预测尺度统一。
F2G-Pose 基准测试表现
| 测试数据集 | 评价指标 | F2G-Pose 结果 | 对比基线 GenPose++ |
|---|---|---|---|
| SOPE | IoU50 AUC | 43.7 | 31.9 |
| ROPE | IoU50 AUC | 27.8 | 19.1 |
F2G-Pose 适用与局限
适合:机械臂抓取、室内机器人、AR 虚实融合、类别级物体感知,物体存在遮挡、同类别实例外形不一样的场景。
局限:输入必须提前做好实例分割;极端遮挡、反光、透明物体场景稳定性依然存在上限。
【相关 FAQ】
问题 1:NeurIPS 2026 的 F2G-Pose 为什么能一次前向同时预测物体位姿、尺寸和完整形状?
回答 1:NeurIPS 2026 的 F2G-Pose 设计了共享特征提取 + 双并行预测分支结构,几何形状分支还会反过来提供稠密监督约束,不需要多轮迭代采样,一次前向传播就能同时输出物体位姿、尺寸和完整形状。
问题 2:F2G-Pose 预测物体位姿、尺寸与完整形状的时候,需要物体 CAD 模型吗?
回答 2:不需要,F2G-Pose 属于类别级位姿估计方法,预测物体位姿、尺寸与完整形状,不依赖单个物体专属 CAD 模型或者参考图片,只需要 RGB-D 观测数据。
问题 3:F2G-Pose 预测物体位姿、尺寸与完整形状,推理速度大概是多少?
回答 3:在 RTX4090 显卡上,F2G-Pose 只预测物体位姿和尺寸时速度 28FPS,同时开启完整形状补全、预测物体位姿、尺寸与完整形状时为 24FPS,满足机器人实时感知。
问题 4:F2G-Pose 预测物体位姿、尺寸与完整形状,主要是给谁用的?
回答 4:F2G-Pose 预测物体位姿、尺寸与完整形状,主要面向机械臂抓取机器人、移动机器人、AR 场景,解决被遮挡物体的三维感知问题。
问题 5:F2G-Pose 和扩散类位姿方案相比,预测物体位姿、尺寸与完整形状的优势在哪?
回答 5:扩散类方案需要多次采样候选姿态,延迟高;F2G-Pose 一次前向直接预测物体位姿、尺寸与完整形状,推理更快,同时精度在公开数据集上优于 GenPose++ 这类基线方案。
【参考资料】
[2026-11-22](NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状)机器之心
[2026-10-22](F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation)arXiv
[2026-10-30](F2G-Pose NeurIPS 2026 overview)NeuralTrendHub
[2026-10-25](F2G-Pose 项目主页介绍)jrryzh.github.io
【免责声明】
本文内容基于 NeurIPS 2026 论文公开摘要、项目主页与媒体解读整理;F2G-Pose 预测物体位姿、尺寸与完整形状的实际落地效果受分割质量、传感器噪声、物体材质影响;本文不构成工业机器人采购、算法落地部署的技术验收标准。
本文来自作者[浮域信使]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/3997.html
评论列表(4条)
我是环球科技潮的签约作者“浮域信使”!
希望本篇文章《NeurIPS 2026 | F2G-Pose一次前向预测物体位姿、尺寸与完整形状》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:复旦大学团队在 NeurIPS 2026 上推出 F2G-Pose,这是一套面向类别级 RGB-D 物体位姿估计的实时框架,只用一张分割好的 RGB-D 图像,经过一次前向推理,就能同时输出物体 6D 位姿、公制尺寸、相机坐标系下补全后的完整三维形状,不用迭代采样、不用提前准备每个物体的 CAD 模型,在精度和推理速度上做到同步提升,适合机械臂抓取、机器人感知这类落地场景。过去同类方案要么分步预测容易出现误差层层传递,要么用扩散模型反复采样,速度很慢,很难满足机器人实时感知需求。F2G-Pose 把 RADIO 主干提取的基础视觉特征映射到三维局部点云上,靠 DGCNN 做局部几何编码,再用混合专家 Transformer 融合全局物体结构信息,模型分成并行两个分支,一支输出位姿和尺寸,另一支完成形状补全,形状预测反过来做几何监督,约束位姿预测的尺度保持一致。它只用 SOPE 合成数据集做位姿标注训练,主干 RADIO 权重冻结,在 SOPE、ROPE 等公开基准数据集拿到 SOTA 结果,在 RTX4090 显卡上,只跑位姿分支可以达到 28FPS,开启完整形状补全分支也有 24FPS,团队还在真实机械臂抓取实验验证了这套 F2G-Pose 方案的可用性。