PointNet Conclusion

无序性

主要解决的是点云的无序性。例如点云数据(P_1,P_2,\cdots,P_n)和重新排列后的(P_3,P_1,P_5,\cdots,P_n)在点云是相同的，但是在神经网络中可能会是不同的输入。

主要任务

3D物体分类
3D语义分割
- 局部分割：输入是单个点云（飞机），预测每个点属于哪个部件，机翼机身
- 场景分割：输入是场景的一部分，预测每个点属于哪个类别
输出是n\times m矩阵，n是点数，m是可能的语义类别数，每个点都有m维得分向量。

T-Net:

我所理解的T-Net主要是学习点云的空间变换矩阵，学习一种规则让其方向进行调整，类似于“矫正器”。因为一本倒着的书和竖着的书是不一样的，如果训练集中大多数书都是竖着的，那么这个网络可以学习如何让书竖起来，学习的是一种“规则”

PointNet++ Conclusion

PointNet Defect & PointNet++ Solution

忽略了局部特征

采用的是全局Max Pooling，把所有点的特征聚合成一个全局特征向量
对点的密度变化敏感

点云密度可能不均（近处密集，远处稀疏或者光滑表面点少）

直接在所有点上计算特征，无法适应点密度变化，导致对远处或稀疏区域的特征提取能力较弱

PointNet++ 通过 “层次化采样 + 局部特征提取” 来解决 PointNet 的问题：

1️⃣ 层次化特征学习（Hierarchical Feature Learning）

类似于 CNN 处理图像的方式，PointNet++ 采用 分层方法 逐步学习 局部到全局特征。
在低层，提取小范围的局部特征；在高层，提取更大的区域信息。

2️⃣ 自适应采样策略（Sampling & Grouping）

采用 Farthest Point Sampling (FPS) 进行 点云的层次化采样，确保采样的点均匀覆盖整个点云。
在采样的中心点周围，使用 球形搜索（Ball Query） 选择邻域点进行局部特征提取。

3️⃣ 局部特征学习（Local Feature Aggregation）

对于每个采样点，它的邻域点会通过 PointNet（共享 MLP） 计算一个局部特征。
这些局部特征会被进一步聚合，以学习更深层次的几何信息。

Some Question

Q：为什么需要Skip Link Concatenation？

因为在逐步采用的过程中，部分细节信息可能会丢失，所以需要拼接，在每个点高层恢复的时候，仍然保留了底层信息

Q：为什么叫unit pointnet

因为unit pointnet是一个小型的pointnet结构，共享MLP和最大池化

Q：可以点云降噪吗？

GPT说可以，可以进行异常点的检测，如果一个点是噪声点，它的领域特征往往会很弱，特征传播可以平滑点云

Say something

我谈一谈我的理解：

pointnet是开创性的，主要获得全局的特征，那么这篇pointnet++就是可以获取局部特征的网络，首先分成若干个patch，例如1024分成256个，按照距离划分（如上图Figure 2）可以重叠，例如一开始点云X是有1024个点，那么我用FPS（最远距离）进行采样得到256个patch，每一个patch可以有50个。

那我们举例子首先是一个飞机，它有很多机翼、机头、尾翼等，那么我这一次的操作会获取机翼上的某一个边缘，也会有另外一个边缘的patch，这样学习特征。

那么学习完边缘这种小的特征之后呢？我就要继续再分，我256再使用FPS采样成64个，那么经过这一个融合可能几个边缘会成一个机翼，那么我就学习到的机翼的特征，同样我也有尾翼和机头的特征。那么一直这样下去，64变16变4(注意不能只剩下一个）最后学习到了很多的特征。这就是学习的过程

Q：图2右边的分割是什么样的呢？

A：可以注意到这里有interpolate（插值），和KNN有关，那么我有了一些细分的特征，我可以通过插值让每个点都有特征值。


f^{(j)}(x)=\frac{\sum_{i=1}^{k} w_{i}(x) f_{i}^{(j)}}{\sum_{i=1}^{k} w_{i}(x)} \quad \text { where } \quad w_{i}(x)=\frac{1}{d\left(x, x_{i}\right)^{p}}, j=1, \ldots, C

对于是不是能够到4也是一种问题，比如我可以让其1024\rightarrow 256\rightarrow 64 \rightarrow 16，很容易理解如果只有四个点插值会出现一定的问题