Halcon 3D算子总结整理

halcon 3D包含以下几个模块：

• 3D Matching（3D匹配）
• 3D Object Model（3D模型）
• 3D Reconstruction（3D重构）
• 3D Transformations（3D转换）

1. 3D Matching

1.1 3D Box3D盒查找器

不需要对象模型，只需要盒子尺寸，适用于箱子抓取的场景。

1.2 Shape-Based基于形状的匹配

利用CAD模型，在2D图像上进行物体的空间定位，需要进行相机标定拿到内参。
正如前文《手眼标定》所说：
基于形状匹配是指在二维图像中搜索三维CAD模型实例。通过操作符find_shape_model_3d计算并返回物体空间姿态。这个方法虽然拿不到点云，但它最终还是能计算出物体的空间位姿，挺牛逼的，就是性能、精度都很差。
它是通过一种基于视图的方法来计算的。通过虚拟球面视图的方式，降低算法复杂度：

假设物体置于球心，并对球心进行观测，创建多个位置的虚拟相机，我们可以通过将物体投影到每一个虚拟相机的像平面上获取相机的拍到的视图，注册为模板，在实际匹配时，会在每个虚拟相机的位置进行匹配计算，找到最佳位姿。注意还需计算不同半径下的虚拟相机。

创建模板的时候，利用CAD三维信息，进行多虚拟相机投影的计算，计算量很大。在后面使用时，需要对数以千计的视图进行匹配计算，很难满足实际的应用需求，还是推荐直接上3D相机获取到点云信息后进行匹配。

因为用的不多，这里不再介绍。

1.3 Surface-Based基于表面的匹配

可通过点云或CAD模型来进行空间定位。

1.4 Deformable Surface-Based基于表面的形变匹配

用于空间物体扭曲变形下的匹配。

1.5 3D Gripping Point Detection3D夹持点检测

是一种基于深度学习的方法。

2. 3D Object Model

2.1 Creation创建

2.2 Features特征

2.3 Segmentation分割

2.4 Transformations

3. 3D重构

包含双目、深度聚焦、多2d相机视角重建、线激光重构四种方法。这里就不罗列了。

4. Transformations

4.1 Pose

pose位姿数组，描述的是刚性三维变换。形式为 $[Tx,Ty,Tz,Rx,Ry,Rz,Code]$，分别对应了平移、旋转还有类型编码。可通过create_pose算子创建。

create_pose( : : TransX, TransY, TransZ, RotX, RotY, RotZ, OrderOfTransform, OrderOfRotation, ViewOfTransform : Pose)
OrderOfTransform可以是Rp+T’和Rp-T’，这里R是旋转，p是点，T是平移。
OrderOfRotation可选’gba’‘abg’‘rodriguez’，其中gba表示RxRyRz的顺序，按新旧轴可以选择从左往右还是从右往左读，后面会有说明。abg对应RzRyRx。这里rodriguez表示罗德里格旋转公式，此时3个旋转量对应了向量的方向，向量的长度定义为了
ViewOfTransform可选为’point’和 ‘coordinate_system’，后者将旋转的角度取了反！（名称容易误导）
。
标准的位姿变换（Rp+T，gba，point），推荐用这种：

注意这里是Ht*Hr，顺序不能错了。
对于一个点的转换公式：

不标准的Rp-T，这里T取了负值，并且RT矩阵反过来了！:
类型编码如下：

4.3 3D Transformations

homMat3D变换矩阵形式

4.4 新/旧轴总结

对于hom_mat3d_rotate/hom_mat3d_rotate_local等旧轴和新轴的区别，这里用2d下的类似算子进行验证，这样比较直观。

对图像先旋转30度，再沿x轴平移100个像素。

• 套用hom_mat2d_rotate_local 和hom_mat2d_translate_local，因为是对新轴进行的，所以平移是按照旋转之后的坐标系沿x平移。
• 套用hom_mat2d_rotate和hom_mat2d_translate，因为是对旧轴进行的，所以平移还是按照之前的图像坐标系平移。

上代码，local模式：

read_image (Image, 'forest_road')
hom_mat2d_identity (HomMat2DIdentity) //这里先创建默认齐次矩阵，在这个基础上添加平移或旋转量
hom_mat2d_rotate_local (HomMat2DIdentity, rad(30), HomMat2DRotate_local)
affine_trans_image (Image, ImageAffineTrans, HomMat2DRotate_local, 'nearest_neighbor', 'false')
hom_mat2d_translate_local(HomMat2DRotate_local, 100, 0, HomMat2DTranslate_local)
affine_trans_image (Image, ImageAffineTrans, HomMat2DTranslate_local, 'nearest_neighbor', 'false')
1
2
3
4
5
6

可以看到，原图像被旋转了30度，左上角的点坐标变为了（86，50），由三角形斜边长度为50/sin30=100，正好和平移的100匹配上了。


非local模式，这里固定点是（0，0），和上面的local默认旋转轴中心一致，方便对比：

hom_mat2d_rotate (HomMat2DIdentity, rad(30), 0, 0, HomMat2DRotate)
affine_trans_image (Image, ImageAffineTrans, HomMat2DRotate, 'nearest_neighbor', 'false')
hom_mat2d_translate (HomMat2DRotate, 100, 0, HomMat2DTranslate)
affine_trans_image (Image, ImageAffineTrans, HomMat2DTranslate, 'nearest_neighbor', 'false')
1
2
3
4

可以看出，旋转之后，由沿垂直x方向平移了100，也就是原始的图像坐标系为“旧轴”。

还有如下结论：

1. 想对已知的点或者图像进行空间变换，首先使用hom_mat2d_identity创建一个齐次基本矩阵，然后将平移和旋转往上加
2. 当旋转中心一样时，连续旋转一个角度，比如旋转1次再旋转1次，local和非local结果都是一样的。带上平移就不一样了。
3. 相机外参的位姿Pose中的，旋转和平移用的是旧轴还是新轴的方式呢？根据halcon给出的create_pose关于Rgba帮助文档：

If you start from the right, the rotations are always performed relative to the global (i.e., fixed or “old”) coordinate system. Thus, can be read as follows: First rotate around the z-axis, then around the “old” y-axis, and finally around the “old” x-axis. In contrast, if you read from the left to the right, the rotations are performed relative to the local (i.e., “new”) coordinate system. Then, corresponds to the following: First rotate around the x-axis, the around the “new” y-axis, and finally around the “new(est)” z-axis.
如果您从右边开始读取，旋转始终相对于全局（即固定或“旧”）坐标系执行。因此，可以按照以下方式解读：首先绕z轴旋转，然后绕“旧” y轴旋转，最后绕“旧” x轴旋转。相反，如果您从左到右阅读，则旋转相对于局部（即“新”）坐标系执行。然后，对应于以下操作：首先绕x轴旋转，然后绕“新” y轴旋转，最后绕“最新的”z轴旋转。

从右到左读取对应于以下算子调用顺序：

 hom_mat3d_identity (HomMat3DIdent)
  hom_mat3d_rotate (HomMat3DIdent, RotZ, 'z', 0, 0, 0, HomMat3DRotZ)
  hom_mat3d_rotate (HomMat3DRotZ, RotY, 'y', 0, 0, 0, HomMat3DRotYZ)
  hom_mat3d_rotate (HomMat3DRotYZ, RotX, 'x', 0, 0, 0, HomMat3DXYZ)
1
2
3
4

相反，从左向右读取对应于以下算子调用顺序：

  hom_mat3d_identity (HomMat3DIdent)
  hom_mat3d_rotate_local (HomMat3DIdent, RotX, 'x', HomMat3DRotX)
  hom_mat3d_rotate_local (HomMat3DRotX, RotY, 'y', HomMat3DRotXY)
  hom_mat3d_rotate_local (HomMat3DRotXY, RotZ, 'z', HomMat3DXYZ)
  
1
2
3
4
5

也就是说，在使用Pose和点或图像进行变换时，因为点都是乘在变换矩阵左边，直接计算即可，不必区分新旧轴，只有对homMat3D变换时，才需要考虑新旧轴。但Pose下的阅读顺序，可以帮助我们“观察”点或图像是如何变过去的，有助于拿到一个Pose，肉眼大概分析出是否正确。