NeurIPS 2026 | F2G-Pose一次前向预测物体位姿、尺寸与完整形状

复旦大学团队在 NeurIPS 2026 上推出 F2G-Pose,这是一套面向类别级 RGB-D 物体位姿估计的实时框架,只用一张分割好的 RGB-D 图像,经过一次前向推理,就能同时输出物体 6D 位姿、公制尺寸、相机坐标系下补全后的完整三维形状,不用迭代采样、不用提前准备每个物体的 CAD 模型,在精度和推理速度上做到同步提升,适合机械臂抓取、机器人感知这类落地场景。过去同类方案要么分步预测容易出现误差层层传递,要么用扩散模型反复采样,速度很慢,很难满足机器人实时感知需求。F2G-Pose 把 RADIO 主干提取的基础视觉特征映射到三维局部点云上,靠 DGCNN 做局部几何编码,再用混合专家 Transformer 融合全局物体结构信息,模型分成并行两个分支,一支输出位姿和尺寸,另一支完成形状补全,形状预测反过来做几何监督,约束位姿预测的尺度保持一致。它只用 SOPE 合成数据集做位姿标注训练,主干 RADIO 权重冻结,在 SOPE、ROPE 等公开基准数据集拿到 SOTA 结果,在 RTX4090 显卡上,只跑位姿分支可以达到 28FPS,开启完整形状补全分支也有 24FPS,团队还在真实机械臂抓取实验验证了这套 F2G-Pose 方案的可用性。

F2G-Pose 基础信息清单

  • 论文全称:F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
  • 收录会议:NeurIPS 2026
  • 研究单位:复旦大学、上海创智学院
  • 输入条件:已经完成目标分割的 RGB-D 单帧图像
  • 输出结果:物体 6D 位姿、公制尺寸、相机坐标系完整三维点云形状
  • 推理硬件:RTX 4090
  • 推理速度:仅位姿分支 28FPS;全模型(位姿 + 形状)24FPS
  • 基础主干:RADIOv2.5(冻结参数)

F2G-Pose 核心技术模块

  1. 基础特征提升模块:将二维稠密视觉基础特征映射到观测到的局部三维点云,打通图像特征和三维几何信息。
  2. DGCNN 几何 Tokenizer:对点云做邻域几何编码,提取物体局部曲面结构特征。
  3. MoE 混合专家 Transformer:整合物体全局结构信息,区分不同类别的物体几何规律。
  4. 双预测分支
  5. 位姿尺寸分支:直接输出物体旋转、平移、真实物理尺寸
  6. 形状补全分支:输出相机坐标系下 2048 点的完整物体点云,采用由粗到细重建
  7. 联合几何监督:形状补全任务提供稠密几何约束,保证尺寸、位姿预测尺度统一。

F2G-Pose 基准测试表现

测试数据集评价指标F2G-Pose 结果对比基线 GenPose++
SOPEIoU50 AUC43.731.9
ROPEIoU50 AUC27.819.1

F2G-Pose 适用与局限

适合:机械臂抓取、室内机器人、AR 虚实融合、类别级物体感知,物体存在遮挡、同类别实例外形不一样的场景。

局限:输入必须提前做好实例分割;极端遮挡、反光、透明物体场景稳定性依然存在上限。

【相关 FAQ】

问题 1:NeurIPS 2026 的 F2G-Pose 为什么能一次前向同时预测物体位姿、尺寸和完整形状?

回答 1:NeurIPS 2026 的 F2G-Pose 设计了共享特征提取 + 双并行预测分支结构,几何形状分支还会反过来提供稠密监督约束,不需要多轮迭代采样,一次前向传播就能同时输出物体位姿、尺寸和完整形状。

问题 2:F2G-Pose 预测物体位姿、尺寸与完整形状的时候,需要物体 CAD 模型吗?

回答 2:不需要,F2G-Pose 属于类别级位姿估计方法,预测物体位姿、尺寸与完整形状,不依赖单个物体专属 CAD 模型或者参考图片,只需要 RGB-D 观测数据。

问题 3:F2G-Pose 预测物体位姿、尺寸与完整形状,推理速度大概是多少?

回答 3:在 RTX4090 显卡上,F2G-Pose 只预测物体位姿和尺寸时速度 28FPS,同时开启完整形状补全、预测物体位姿、尺寸与完整形状时为 24FPS,满足机器人实时感知。

问题 4:F2G-Pose 预测物体位姿、尺寸与完整形状,主要是给谁用的?

回答 4:F2G-Pose 预测物体位姿、尺寸与完整形状,主要面向机械臂抓取机器人、移动机器人、AR 场景,解决被遮挡物体的三维感知问题。

问题 5:F2G-Pose 和扩散类位姿方案相比,预测物体位姿、尺寸与完整形状的优势在哪?

回答 5:扩散类方案需要多次采样候选姿态,延迟高;F2G-Pose 一次前向直接预测物体位姿、尺寸与完整形状,推理更快,同时精度在公开数据集上优于 GenPose++ 这类基线方案。

【参考资料】

[2026-11-22](NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状)机器之心

[2026-10-22](F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation)arXiv

[2026-10-30](F2G-Pose NeurIPS 2026 overview)NeuralTrendHub

[2026-10-25](F2G-Pose 项目主页介绍)jrryzh.github.io

【免责声明】

本文内容基于 NeurIPS 2026 论文公开摘要、项目主页与媒体解读整理;F2G-Pose 预测物体位姿、尺寸与完整形状的实际落地效果受分割质量、传感器噪声、物体材质影响;本文不构成工业机器人采购、算法落地部署的技术验收标准。

本文来自作者[浮域信使]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/3997.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 浮域信使
    浮域信使 2026年11月22日

    我是环球科技潮的签约作者“浮域信使”!

  • 浮域信使
    浮域信使 2026年11月22日

    希望本篇文章《NeurIPS 2026 | F2G-Pose一次前向预测物体位姿、尺寸与完整形状》能对你有所帮助!

  • 浮域信使
    浮域信使 2026年11月22日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 浮域信使
    浮域信使 2026年11月22日

    本文概览:复旦大学团队在 NeurIPS 2026 上推出 F2G-Pose,这是一套面向类别级 RGB-D 物体位姿估计的实时框架,只用一张分割好的 RGB-D 图像,经过一次前向推理,就能同时输出物体 6D 位姿、公制尺寸、相机坐标系下补全后的完整三维形状,不用迭代采样、不用提前准备每个物体的 CAD 模型,在精度和推理速度上做到同步提升,适合机械臂抓取、机器人感知这类落地场景。过去同类方案要么分步预测容易出现误差层层传递,要么用扩散模型反复采样,速度很慢,很难满足机器人实时感知需求。F2G-Pose 把 RADIO 主干提取的基础视觉特征映射到三维局部点云上,靠 DGCNN 做局部几何编码,再用混合专家 Transformer 融合全局物体结构信息,模型分成并行两个分支,一支输出位姿和尺寸,另一支完成形状补全,形状预测反过来做几何监督,约束位姿预测的尺度保持一致。它只用 SOPE 合成数据集做位姿标注训练,主干 RADIO 权重冻结,在 SOPE、ROPE 等公开基准数据集拿到 SOTA 结果,在 RTX4090 显卡上,只跑位姿分支可以达到 28FPS,开启完整形状补全分支也有 24FPS,团队还在真实机械臂抓取实验验证了这套 F2G-Pose 方案的可用性。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们