该工作由北京大学前沿计算研究中心陈宝权课题组与斯坦福大学/北京大学王鹤等合作完成，论文共同一作翁伊嘉为2021届图灵班学生。

文章简介

本文介绍了一种新颖的方法，该方法能够在实时深度点云流中进行类级别刚体和带关节物体的九自由度位姿追踪。这项工作解决了现有方法中对于刚性物体和带关节物体位姿估计的一般化问题，并且提供了一种端到端可微、精度与速度兼备的位姿追踪系统。

文章内容

首先，本文讨论了类级别物体位姿估计的问题，这是一项重要但至今仍未完全解决的问题。然后，作者提出了一个框架，该框架可以同时应用于刚性物体和带关节物体，并且能够在实时深度点云流中进行九自由度位姿追踪。本文中的模型由三个主要部分组成：位置正规化（Pose Canonicalization）、旋转回归网络（RotationNet）和坐标预测网络（CoordinateNet）。

位置正规化通过将输入点云坐标映射到输出相似变换来简化学习问题，同时保持输入点云与输出相似变换之间的一致性。旋转回归网络直接对输出相似变换进行回归，而坐标预测网络则从输入点云预测部件在归一化坐标系下的坐标。

实验结果显示，本文提出的方法在多个数据集上都超过了现有的最好方法，包括NOCS-REAL275、SAPIEN合成数据集以及BMVC数据集。本文不仅证明了其有效性，还展望了未来研究方向，如利用更多关于带有关节限制的知识，以及扩展到更复杂的带有连接关系不固定的带关节物品。

结语

总之，本文提出了一种新的框架，它能够实现实时深度点云流中的类级别刚体和带关节物品九自由度位姿追踪。此外，本文还开辟了许多可能性的研究方向，为计算机视觉领域提供了解决实际应用挑战所需工具。