论文阅读笔记 [IEEE RAL] Tacchi: A Pluggable and Low Computational Cost Elastomer Deformation Simulator for

论文阅读笔记 [IEEE RAL] Tacchi: A Pluggable and Low Computational Cost Elastomer Deformation Simulator for Optical Tactile Sensors

[IEEE RAL]tacchi: 基于弹性体形变仿真的视触觉传感器仿真器

论文地址

Tacchi: A Pluggable and Low Computational Cost Elastomer Deformation Simulator for Optical Tactile Sensors | IEEE Journals & Magazine | IEEE Xplore

论文概述

视触觉传感器是机器人研究的一个新型方向，这类传感器利用视觉图像作为传感信息提供触觉感知。

视触觉传感器的仿真主要利用光学仿真或基于数据驱动方法的图像处理，这些方法没有对传感器的弹性形变进行仿真，物理意义不强或效果不够好；或采用基于物理意义的有限元法，但是计算成本高、速度慢。

本文提出了基于最小二乘物质点法（MLS-MPM）与平行计算仿真器Taichi的视触觉传感器仿真器——Tacchi。该仿真器不仅能基于弹性体仿真提供高质量的仿真触觉图片，还能仿真实际物体的粗糙表面。

实验用了21个3D打印出的物体去按压视触觉传感器，从SSIM PSNR MAE数据指标的角度比较了Tacchi与其他仿真器生成的图片与真实图片的相似度，并且做了SimReal task比较，证明tacchi优越性。

论文简记

Introduction

重要性和应用前景，历史方法和局限性，最近的新成果和局限 （这里不提了）

弹性体视触觉仿真的主要挑战在于：elastomer deformation reconstruction

本文对于此问题的解决思路：基于物理仿真（最小二乘物质点法MLS-MPM）+ 高性能平行计算仿真器Taichi的视触觉传感器仿真器

本文的contribution：（三个创新点）

1. 提出tacchi——第一个基于物理弹性形变的视触觉传感器仿真方案，效果很好
2. Tacchi可以和主流机器人仿真器（如Gazebo,MuJoCo）进行联合仿真，给出联合仿真策略
3. tacchi仿真过程中，可以通过调整粒子数量得到多样的数据图片，且taicchi的SimReal task效果很好（个人认为这条的重点应当是tacchi为后续做更复杂的视触觉传感器仿真或者机器学习应用打下基础）

Related Work

需要仿真的物理过程：一个刚体（本文称为探针）接触一个弹性表面

视触觉传感器仿真的方法：

1. 光学仿真：获取深度图（例，来自Gazebo），使用高斯滤波器对形变表面进行光滑处理，然后采用phong模型将渲染图渲染为rgb图片。

   限制：实验者需要观察仿真效果去调整高斯核的选取，仿真过程中没有考虑到相关物理意义，如弹性体本身的杨氏模量。

2. GAN：未被探针接触的弹性表面图片和接触了探针的弹性表面图片对抗训练，生成视触觉图片。生成的图片具有真实性纹理。

   限制：受训练数据限制，例如训练数据中的探针是圆形，就只能生成圆形形变，而不能仿真其他形状的形变。

3. 基于物理的仿真：（eth的工作）FEM模型，通过粒子仿真视触觉传感器。生成的触觉图片真实。

   限制：计算量大，仿真需要采用一个计算集群，硬件要求高。

本文：基于物理弹性形变的仿真，利用taichi实现高速计算，硬件要求低。

Method

Elastomer Simulation

MLS-MPM方法，如图片a中所示。设定刚体粒子的相对位置不变化，刚体粒子数量的变化会导致刚体表面的粗糙度不同，能够提供更多样的数据图片。

Tactile Image Rendering

弹性物体的最表面一层粒子生成深度图，对深度图进行切割，用phong模型渲染成rgb图片，如图片c-d所示。

Connection With a Robot Simulator

说明Tacchi和主流机器人仿真器Gazebo,MuJoCo联合仿真的策略：传输传感器和探针的相对位置/相对速度。

Application of Tacchi to Other Sensors and Tasks

未来工作
1. 更复杂的仿真：旋转和滑移
2. 强化学习应用

Experiment Setup

用21个3D打印出的物体去按压传感器，比较不同方法生成的图片和真实图片的不同

Experiment Result

1. 从数据比较仿真图片和真实图片的相似度：SSIM PSNR MAE指标

2. sim2real task：利用仿真图片来训练神经网络区分不同的探针，用真实数据集测试，看tacchi仿真器训练出来的网络是否比其他仿真器训练出来的网络能更好的区分不同的探针