双目+IMU标定详细流程、相关文件格式说明分析【T265为例】_怎样将bag包中的双目相机话题sensor_msgs/image转换成stereo/right/im

最近做一个无人机避障的项目，无人机上面安装了机载电脑，通过笔记本电脑进入机载电脑的桌面，使用提前写好地脚本运行VIO、路径规划、飞控和相机启动，在RVIZ中观察建图、定位和航迹点，并通过鼠标在地图上设置目标点，无人机即可自主前往。

本文主要描述一下机载传感器T265的远程标定流程，供日后参考：

一、基本情况

二、具体操作

1、录制并标定imu（realsense的launch文件已经修改好，环境也都配置好了）

2、录制双目与联合标定所需bag

3、kalibr做双目标定

4、kalibr做联合标定

5、标定完成

6、参考文章

一、基本情况

1）注意：本文是只是提纲式的描述了关键步骤和代码，我还写了一个D455远程标定的文章，感兴趣的话可以看看：D455远程标定详细步骤，使用kalibr、imu_utils两个开源工具_全日制学生混的博客-CSDN博客

2）笔记本电脑和机载电脑通过外置天线互联，通过ifconfig可以查找到地址

3）可以使用ssh或Nomachine进入机载电脑，这里为了可视化，我使用了后者

4）基本思路是：无人机录制bag，然后用无线传输把bag传到主机中运行标定程序，将标定结果再放到机载电脑的程序里（这样确实繁琐，但是在此项目中，考虑到批量部署和网络原因，这是目前我能找到的最好方法）

5）一些基本命令：april_6x6.yaml

sudo apt install net-tools    //网络工具
ifconfig	//找到飞机的ip地址
ssh a@192.168.168.165	//查看远程命令窗口
ping 192.168.168.165	//查看延迟
scp a@192.168.168.165:/home/a/Downloads/autoFlight-master.zip .	//拷贝文件到当前文件夹
rs-enumerate-devices -c   //查看相机出厂标定参数

6）标定板文件格式：

#example for aprilgrid
  target_type: 'aprilgrid' #gridtype
  tagCols: 6                  #number of apriltags
  tagRows: 6                  #number of apriltags
  tagSize: 0.088              #size of apriltag, edge to edge [m]
  tagSpacing: 0.3             #ratio of space between tags to tagSize
                              #example: tagSize=2m, spacing=0.5m --> tagSpacing=0.25[-]
 
#example for checkerboard
#  targetType: 'checkerboard' #gridtype
#  targetCols: 6              #number of internal chessboard corners
#  targetRows: 7              #number of internal chessboard corners
#  rowsMetricSize: 0.06       #size of one chessboard square [m]
#  colsMetricSize: 0.06       #size of one chessboard square [m]
 

7) rs_t265.launch文件（更改发布话题、时间戳合并后）

<!--
Important Notice: For wheeled robots, odometer input is a requirement for robust
and accurate tracking. The relevant APIs will be added to librealsense and
ROS/realsense in upcoming releases. Currently, the API is available in the
https://github.com/IntelRealSense/librealsense/blob/master/third-party/libtm/libtm/include/TrackingDevice.h#L508-L515.
-->
<launch>
  <arg name="serial_no"           default=""/>
  <arg name="usb_port_id"         default=""/>
  <arg name="device_type"         default="t265"/>
  <arg name="json_file_path"      default=""/>
  <arg name="camera"              default="camera"/>
  <arg name="tf_prefix"           default="$(arg camera)"/>
 
  <arg name="fisheye_width"       default="848"/> 
  <arg name="fisheye_height"      default="800"/>
  <arg name="enable_fisheye1"     default="true"/>
  <arg name="enable_fisheye2"     default="true"/>
 
  <arg name="fisheye_fps"         default="-1"/>
 
  <arg name="gyro_fps"            default="-1"/>
  <arg name="accel_fps"           default="-1"/>
  <arg name="enable_gyro"         default="true"/>
  <arg name="enable_accel"        default="true"/>
  <arg name="enable_pose"         default="true"/>
 
  <arg name="enable_sync"           default="true"/>
 
  <arg name="linear_accel_cov"      default="0.01"/>
  <arg name="initial_reset"         default="false"/>
  <arg name="reconnect_timeout"     default="6.0"/>
  <arg name="unite_imu_method"      default="linear_interpolation"/>
 
  <arg name="publish_odom_tf"     default="true"/>
  
  <group ns="$(arg camera)">
    <include file="$(find realsense2_camera)/launch/includes/nodelet.launch.xml">
      <arg name="tf_prefix"                value="$(arg tf_prefix)"/>
      <arg name="serial_no"                value="$(arg serial_no)"/>
      <arg name="usb_port_id"              value="$(arg usb_port_id)"/>
      <arg name="device_type"              value="$(arg device_type)"/>
      <arg name="json_file_path"           value="$(arg json_file_path)"/>
 
      <arg name="enable_sync"              value="$(arg enable_sync)"/>
 
      <arg name="fisheye_width"            value="$(arg fisheye_width)"/>
      <arg name="fisheye_height"           value="$(arg fisheye_height)"/>
      <arg name="enable_fisheye1"          value="$(arg enable_fisheye1)"/>
      <arg name="enable_fisheye2"          value="$(arg enable_fisheye2)"/>
 
      <arg name="fisheye_fps"              value="$(arg fisheye_fps)"/>
      <arg name="gyro_fps"                 value="$(arg gyro_fps)"/>
      <arg name="accel_fps"                value="$(arg accel_fps)"/>
      <arg name="enable_gyro"              value="$(arg enable_gyro)"/>
      <arg name="enable_accel"             value="$(arg enable_accel)"/>
      <arg name="enable_pose"              value="$(arg enable_pose)"/>
 
      <arg name="linear_accel_cov"         value="$(arg linear_accel_cov)"/>
      <arg name="initial_reset"            value="$(arg initial_reset)"/>
      <arg name="reconnect_timeout"        value="$(arg reconnect_timeout)"/>
      <arg name="unite_imu_method"         value="$(arg unite_imu_method)"/>
 
      <arg name="publish_odom_tf"          value="$(arg publish_odom_tf)"/>
    </include>
  </group>
</launch>

二、具体操作

1、录制并标定imu（realsense的launch文件已经修改好，环境也都配置好了）

注意，在标定imu时，播放bag是可以加速的，不要傻乎乎的在机载电脑上录2h，然后再在笔记本电脑上再播放两个小时。加速的倍数根据你的电脑配置做调整，我的笔记本（拯救者r9000p）播放到1000倍速都没问题的。

//录制
rosbag record /imu/data -o imu_uav.bag –duration=2h
scp a@192.168.168.165:/home/a/imu_uav.bag .	拷贝bag到主机
 
//启动标定程序
roslaunch imu_utils t265_imu.launch
rosbag play -r 100 imu_uav.bag 一百倍速度播放
 
//参考链接
https://blog.csdn.net/CGJustDoIT/article/details/108081840

2、录制双目与联合标定所需bag

需要提前改好rs_t265.launch 主要更改：鱼眼相机话题发布、imu_unit => copy(imu标定的时候是linear..)，把同步打开  <arg name="enable_sync"   default="true"/>

录制bag的时候加了一个duration参数，因为我一个人标定，点鼠标之后再拿起无人机标定，然后再放下无人机点退出录制有些手忙脚乱，所以就直接限定了录制时间，然后在kalibr做标定的时候，只需要使用 “--bag-from-to 10 95” 掐头去尾即可。

// 修改发布频率和话题名称：
rosrun topic_tools throttle messages /camera/fisheye1/image_raw 20.0 /fisheye1
rosrun topic_tools throttle messages /camera/fisheye2/image_raw 20.0 /fisheye2
rosrun topic_tools throttle messages /camera/imu 200.0 /imu
 
//录制
rosbag record -O imu_cameras_calibration /fisheye1 /fisheye2 /imu -duration=100
 
//拷贝过来
scp a@192.168.168.165:/home/a/workspace/uav_ws/imu_cameras_calibration.bag .
 
//至此就没有机载电脑什么事了，标定程序就在笔记本电脑上启动了
//到时候只需要把标定结果放到机载电脑里就行

3、kalibr做双目标定

下面这行命令处理最基本的语句，还加了修饰：显示提取过程、增加对于不同步时间戳的容忍程度；关于这个容忍程度，加它的原因是，我们的双目相机两帧图像不是完全对齐的，所以要加一个，如果你的相机不加就能对齐那就不加，即使加了，你也不要把这个容忍程度改的太宽，否则会导致相隔几帧的左右目图像匹配到一起，轻则误差大，重则标定不收敛。

rosrun kalibr kalibr_calibrate_cameras --target ./april_6x6.yaml --bag ./imu_cameras_calibration.bag --bag-from-to 10 95 --models omni-radtan omni-radtan --topics /fisheye1 /fisheye2 --approx-sync 0.04 -show-extraction

4、kalibr做联合标定

单独标定了IMU和双目后，接下来就是标定一下二者之间的外参，这一步需要把之前的标定结果放到这一步的执行目录中。需要注意的是，相机的标定输出结果(那个.yaml文件)可以直接拿来用，而IMU的标定由于用的是imu_utils，需要把结果整理成kalibr能够识别的格式。

rosrun kalibr kalibr_calibrate_imu_camera --target ./april_6x6.yaml  --cam ./imu_cameras_calibration-camchain.yaml --imu ./imu.yaml --bag ./imu_cameras_calibration.bag --bag-from-to 10 95  --show-extraction

5、标定完成

标定结束后，就可以得到IMU、双目和联合的参数 

图 标定时的界面

图 相机标定结果

 图IMU标定结果

6、参考文章

1：https://www.jianshu.com/p/194d6c9ef9a4

2：bmi055 标定_Ubuntu16.04+RealsenseT265跑通VINS-Fusion_之死的博客-CSDN博客

3：Kalibr 之 Camera-IMU 标定 (总结)_晨光ABC的博客-CSDN博客_kalibr标定

4：双目相机与IMU联合标定_合工大机器人实验室的博客-CSDN博客_双目相机和imu联合标定

5：Introduction · Autolabor-ROS机器人入门课程《ROS理论与实践》零基础教程

6：Intel Realsense T265使用教程_熊猫飞天的博客-CSDN博客_t265