[论文阅读] 激光点云分割-RPVNet

paper-arxiv-
code - none
readpaper-含笔记

1. 主要思想

通过什么方式，解决了什么问题
该paper通过multi-view fusion的方式，减小了不同view的不足；融合了range view，voxel view和points方法，以points作为主线，融合range view和voxel view的的特征（依靠索引系统完成这个过程）。

2. 具体方法

说明怎么解决的，具体设计是什么, 有什么启发性思考（作者的创新点）

如下图所示： 以中心points-view方式为主线，通过V2P，P2V以及R2P,P2R进行多视图的特征融合，最后通过points-view预测分割结果（即每个点的类别），这个设计很巧妙

• 特征融合的方式- 设计了一个Gated fusion module（GFM）：比较好理解，通过注意力机制的方式，产生权重，加权不同分支的特征，起到选择不同view分支特征的效果。

可以考虑一下其他的融合方式，更有启发性的融合方式：

• 基于不同类别特性，偏重选择不同view特征 （增加监督的方式，选择特征）
• 如何高效率的融合，减小计算，且能达到融合效果（融合过程的实现）

3. 实验支撑

记录一些关键实验的结论分析，具有启发性的实验和结论

3.1 感知性能分析

• 综合表现比其他论文强（semanticKitti）， bicyle,road, sidewalk表现突出
  
• 综合表现比其他论文强（nuScenes）， bicycle， motorcycle上突出
  

3.2 计算效率分析

• 效率和性能 trade-off不错
  

3.3 Ablation 分析

• 不同view作用：PV组合效果更好，也比较符合常识理论
  
• fusion的方式比ensemble（集成）方式还是要好的
  
• gated fusion module 实验效果比add和concat好； 不知道时间效率会大多少，实际使用需要综合考虑
• cutmix数据增强方法对感知效果还是有好处的

4. 总结启示

针对中心思想和实验结论的总结和扩展思考

• 使用了cutMix数据增强方法有好处
• 给多种view的融合，提供了一个思路【points为主，其他view为辅】（创新）
• gated fusion module的融合，值得思考（创新）
• 有一些小的类别不如别的方法，还是需要深思，什么地方的问题

一些疑问

• 索引机制如何实现的 （不同层与points之间的映射关系如何形成）
• 为什么一些小目标效果比不上其他方法？

扩展思考
可以另一种解释，也就是point-based的方法得到每个点的特征（带环境信息的特征），用grouping的方式获取很耗时难做，所以通过结构化的branch（voxel&range）去获取环境信息的抽象编码特征， 然后利用丰富的特征信息再进行语义分割。

4.1 一些创新想法

1. 增加RPVNet中P的特征交互能力

SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection
3DSSD_Point-Based_3D_Single_Stage_Object_Detector

• 根据上面两个paper中的point-based操作，可以将其中SA layer的grouping和gather应用到RPVNet中的P分支；因为在实际工程落地时，RPVNet中的P的作用不大，V对于感知性能作用最大；那么如何增强P分支的作用呢？可以考虑利用SA中的grouping+gather来增加P分支中个点之间的信息交互；然而V分支中的卷积操作通过V2P操作其实有些等同于P分支的grouping操作，而且V分支的卷积比十几万的P分支的grouping应该高效的多，所以添加grouping进行P分支的特征融合有待实验 - 另外grouping的半径范围可以大一些，从而实现大感野的操作；但是如果利用grouping并通过编码目标点和周围点之间的距离差距或者一些几何关系来实现特征补充，可能是有作用的；这样grouping操作和V分支的卷积就不等同了，而是侧重不同的特征表征，这样应该能有利于特征学习；

5. 相关文献

主要的比较贴近的文献,关键性文献

• AF2S3Net: 在小目标上表现好于该论文，需要分析一下原因（sematicKitti）
• AMVNet: construction，sidewalk识别比本文强【nuScenes】
• SPVNet: 相关性强的paper