当前位置:   article > 正文

基于python下imgaug库的数据增广方法整理_imgaug结合pytorch使用

imgaug结合pytorch使用

基于python下imgaug库的数据增广方法整理

1 常用数据增广方法

1) 镜像翻转(水平、垂直):对图像进行水平或垂直翻转。
2) 随机裁剪和缩放:随机地从图像中裁剪出不同尺寸的区域,或者随机缩放图像大小,引入了尺度和视角的变化。
3) 颜色变化:调整图像的亮度、对比度、饱和度等颜色属性,使模型更能适应不同光照条件。
4) 旋转和倾斜:对图像进行旋转或倾斜变换,增加了模型对旋转和倾斜情况下的鲁棒性。
5) 加噪声:向图像中添加随机噪声,可以使模型对噪声更具有鲁棒性。
6) 变形和弯曲:对图像进行变形、弯曲或扭曲,模拟真实场景中的形变情况。
7) 局部遮挡:随机遮挡图像的一部分,使模型能够更好地处理遮挡情况。
8) 组合多种增强方法:将多种增强方法组合起来,创造更多样化的变化。
Ps:imgaug可实现的数据增广方式还有很多,类似相机美颜中一些添加滤镜,局部特征点亮度、对比度调节都可实现,或者理解为photoshop可实现的,imgaug都可以实现。基于机械臂scooping和pouring的任务场景,可暂时选用以上列出的方法。

2 每种方法对应函数

1) 镜像翻转(水平、垂直):

  • 水平翻转:iaa.Fliplr(p)
  • 垂直翻转:iaa.Flipud(p)
    参数 p 是翻转的概率,设置为 0.5 表示随机翻转。(或者理解为对于一个batch中50%的图像进行翻转)

2) 随机裁剪和缩放:

  • 随机裁剪:
iaa.Crop(percent=(0.1,0.2))
  • 1

(图像将被裁剪成原始尺寸的10%-20%,随机选择)或iaa.Crop(px=(0, 16))(从每边裁剪图像0到16px,随机选择)

  • 随机缩放:
iaa.Affine(scale={"x": (0.8, 1.2), "y": (0.8,1.2)})
  • 1

(x方向上缩放80%-120%,y方向上缩放80%-120%。Ps:变换后空白像素的默认填充方式为replicate,即采用图像的边缘像素平铺,可通过mode参数更改填充方式,一般不更改。)

3) 颜色变化:

  • 亮度、对比度变化:iaa.MultiplyAndAddToBrightness(mul=(a, b), add=(c, d))
    参数 mul 控制亮度变化的范围,add 控制对比度的变化范围

4) 旋转和倾斜:

  • 旋转变化iaa.Affine(rotate=(-15, 15))(-15度到+15度随机)

  • 倾斜变化iaa.Affine(shear=(-20, 20))(-20度到+20度随机)

5) 加噪声:

  • 高斯噪声iaa.AdditiveGaussianNoise(scale=(0, 0.05))
    (可选参数loc表示高斯分布的均值,默认为0;per_channel:概率值,默认为0.0,控制是否对每个通道分别添加噪声。0.0表示所有通道共享相同的噪声, 1.0 表示每个通道都可能有不同的噪声)

6) 变形和弯曲:

  • 随机变形iaa.PiecewiseAffine(scale=(0, 0.05))(变形强度处于0-0.05之间)

7) 局部遮挡:

  • 遮挡iaa.Cutout(nb_iterations=(1, 2), size=(1, 4))(每次迭代随机选择 1 到 2
    个区域进行遮挡,遮挡区域的边长在 1 到 4 之间)

8) 组合多种增强方法:

iaa.Sequential([augmenter1, augmenter2, ...],random_order=True)
  • 1

(多种增强方法依次随机作用于图像,random_order控制是否随机,False时按照列表中的顺序依次作用于图像)

Ps:1’例子中的参数为常用参数 2’可选用其中2-4个方法组成增强序列,每种方法的强度或概率不宜过大。

3 使用方法

一般均采用以下代码模板(以采用裁剪旋转明暗变化和遮挡四种方法为例)

1.	import numpy as np  
2.	import imgaug as ia  
3.	import imgaug.augmenters as iaa  
4.	from skimage import data  
5.	  
6.	# 用随机种子来保持可重复性  
7.	ia.seed(1)  
8.	  
9.	# 生成一批示例图像(这里用的是 skimage 库中的 Quokka 图像)  
10.	images = [data.quokka() for _ in range(8)]  # 生成8张图像  
11.	images = np.array(images, dtype=np.uint8)  # 转换图像类型为 uint8  
12.	  
13.	# 创建数据增强流水线  
14.	augmenter = iaa.Sequential([  
15.	    iaa.Crop(percent=(0, 0.1)), # 随机裁剪,裁剪范围在 0% 到 10%  
16.	    iaa.Affine(rotate=(-20, 20)), # 随机旋转角度在 -20 度到 20 度之间  
17.	    iaa.Multiply((0.8, 1.2)), # 随机调整亮度,乘法因子范围在 0.8 到 1.2 之间  
18.	    iaa.Cutout(nb_iterations=(1, 5), size=(8, 16)) # 随机遮挡,迭代次数在 1 到 5 之间,遮挡区域大小在 8x8 到 16x16 之间  
19.	], random_order=True)  
20.	  
21.	# 应用数据增强到批量图像  
22.	images_aug = augmenter(images=images)  
23.	  
24.	# 显示原始图像和增强后的图像  
25.	for i in range(len(images)):  
26.	    combined = np.hstack([images[i], images_aug[i]])  
27.	    ia.imshow(combined)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

4 可参考资料

  1. imgaug官方文档:https://imgaug.readthedocs.io/en/latest/
  2. API中文文档https://blog.csdn.net/qq_45723275/article/details/129276991
  3. 对于数据集含有标签的如分割检测问题,需要对标签采用相同的变换,可以看看
    使用imgaug改进YOLO:
    https://blog.csdn.net/qq1198768105/article/details/126197186
    imgaug应用分割检测问题:
    https://aistudio.baidu.com/aistudio/projectdetail/2386414
  4. Chatgpt3.5(#.#) https://chat.openai.com/
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/148890
推荐阅读
相关标签
  

闽ICP备14008679号