devbox
一键难忘520
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

PP-OCRv3进行OCR手写文字识别

作者：一键难忘520 | 2024-08-20 09:37:35

赞

踩

pp-ocrv3

本项目基于PP-OCRv3进行手写文字识别优化，通过本项目你可以掌握：

  • 如何优化手写识别模型
  • 使用PaddleOCR进行手写模型推理部署

1. 背景介绍

手写体在日常生活中较为常见，无论是记笔记，亦或是手写书信，再或是现如今出现的各种电子设备也都支持手写输入，或是触摸屏输入，手写体可以说是随处可见。手写体的自动识别功能对于保存手写体的内容是极为重要的。

example

手写体识别具有以下几个难点：

  • 中文汉字字符级别的类别繁多；
  • 手写体字符的书写随意性大, 缺乏规范性
  • 不同书写人书写风格多样
  • 中文汉字中存在很多相似字和易混淆的汉字对

以上难点对手写体自动识别都带来了很大的挑战。传统方法是基于投影法、连通域分析法等方法对文本行进行字符分割, 利用单字分类器对分割好的字符, 或利用滑动窗口按一定步长滑窗, 利用单字分类器对滑动窗口内的字符进行识别，但是这些方法的准确率有限，因此需要更为有效的方法来解决该问题。本项目通过计算机视觉中的OCR技术实现自动化的手写文字识别，具体地，本项目基于PP-OCRv3中英文超轻量模型进行优化，最终模型识别效果大大提升。

2. 快速体验

2.1 环境搭建

本项目基于PaddleOCR套件，以PP-OCRv3识别模型为基础，针对手写文字识别场景进行优化。

首先进行安装环境，命令如下：

In [ ]

  1. # 首先git官方的PaddleOCR项目，安装需要的依赖
  2. # 第一次运行打开该注释
  3. # !git clone https://gitee.com/PaddlePaddle/PaddleOCR.git
  4. %cd /home/aistudio/PaddleOCR
  5. !pip install -r requirements.txt

2.2 模型推理

将下载或训练完成的模型放置在对应目录下即可完成模型推理。推理命令如下:

In [ ]

  1. %cd /home/aistudio/PaddleOCR
  2. # 推理预测
  3. !python tools/infer/predict_rec.py --image_dir="train_data/handwrite/HWDB2.0Test_images/104-P16_4.jpg" --rec_model_dir="./inference/rec_ppocrv3/Student"

推理结果如下：

example

[2022/07/14 10:55:58] ppocr INFO: Predicts of train_data/handwrite/HWDB2.0Test_images/104-P16_4.jpg:('品结构,差异化的多品牌渗透使欧莱雅确立了其在中国化妆', 0.9904912114143372)

3. 数据准备

本项目使用公开的手写文本识别数据集，包含Chinese OCR, 中科院自动化研究所-手写中文数据集CASIA-HWDB2.x，以及由中科院手写数据和网上开源数据合并组合的数据集等，该项目已经挂载处理好的数据集，可直接下载使用进行训练。

In [ ]

  1. %cd /home/aistudio/PaddleOCR
  2.  
  3. # 查看当前挂载的数据集目录
  4. !ls /home/aistudio/data/
  5. # 解压挂载的字符检测数据集到指定路径下
  6. # !tar -xf /home/aistudio/data/data157646/hw_data.tar

4. 针对文字识别的优化

本部分基于PP-OCRv3的识别模型进行优化，关于PP-OCRv3的识别模型详细描述请参考PP-OCRv3。PP-OCRv3识别模型是基于自然场景文本数据训练出的模型，对于手写体的识别效果并不好，因此需要对其进行优化，优化方案如下：

  1. 基于PP-OCRv3的识别模型直接进行评估
  2. 基于PP-OCRv3的识别模型finetune

下面依次进行介绍：

4.1 基于PP-OCRv3的识别模型直接进行评估

下载预训练模型

首先下载需要的PP-OCRv3识别预训练模型，更多选择请自行下载其他的文字识别模型

In [ ]

  1. %cd /home/aistudio/PaddleOCR
  2. # 使用该指令下载需要的预训练模型
  3. !wget -P ./pretrained_models/ https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_train.tar
  4. # 解压预训练模型文件
  5. !tar -xf ./pretrained_models/ch_PP-OCRv3_rec_train.tar -C pretrained_models

效果评估

使用下面命令来评估PP-OCRv3预训练模型的效果：

In [ ]

  1. %cd /home/aistudio/PaddleOCR
  2. # 评估预训练模型
  3. !python tools/eval.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml -o Global.pretrained_model="./pretrained_models/ch_PP-OCRv3_rec_train/best_accuracy"

评估结果如下：

  1. [2022/07/14 10:49:52] ppocr INFO: metric eval ***************
  2. [2022/07/14 10:49:52] ppocr INFO: acc:0.03724954461811258
  3. [2022/07/14 10:49:52] ppocr INFO: norm_edit_dis:0.4859541065843199
  4. [2022/07/14 10:49:52] ppocr INFO: Teacher_acc:0.0371584699368947
  5. [2022/07/14 10:49:52] ppocr INFO: Teacher_norm_edit_dis:0.48718814890536477
  6. [2022/07/14 10:49:52] ppocr INFO: fps:947.8562684823883

可以看出，直接加载预训练模型进行评估，效果较差，因为预训练模型并不是基于手写文字进行单独训练的，所以需要基于预训练模型进行finetune优化。

4.2 基于PP-OCRv3的识别模型finetune

修改配置文件

该方案使用configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml配置文件，主要修改训练轮数和学习率参相关参数，设置预训练模型路径，设置数据集路径。 另外，batch_size可根据自己机器显存大小进行调整。 具体修改如下几个地方：

  1.   epoch_num: 100 # 训练epoch数
  2.   save_model_dir: ./output/ch_PP-OCR_v3_rec
  3.   save_epoch_step: 10
  4.   eval_batch_step: [0, 100] # 评估间隔，每隔100step评估一次
  5.   pretrained_model: ./pretrained_models/ch_PP-OCRv3_rec_train/best_accuracy  # 预训练模型路径
  6.   
  7.  
  8.   lr:
  9.     name: Cosine # 修改学习率衰减策略为Cosine
  10.     learning_rate: 0.0001 # 修改fine-tune的学习率
  11.     warmup_epoch: 2 # 修改warmup轮数
  12.  
  13. Train:
  14.   dataset:
  15.     name: SimpleDataSet
  16.     data_dir: ./train_data # 训练集图片路径
  17.     ext_op_transform_idx: 1
  18.     label_file_list: # 训练集标签
  19.     - ./train_data/chineseocr-data/rec_hand_line_all_label_train.txt 
  20.     - ./train_data/handwrite/HWDB2.0Train_label.txt
  21.     - ./train_data/handwrite/HWDB2.1Train_label.txt
  22.     - ./train_data/handwrite/HWDB2.2Train_label.txt
  23.     - ./train_data/handwrite/hwdb_ic13/handwriting_hwdb_train_labels.txt
  24.     - ./train_data/handwrite/HW_Chinese/train_hw.txt
  25.     ratio_list:
  26.     - 0.1
  27.     - 1.0
  28.     - 1.0
  29.     - 1.0
  30.     - 0.02
  31.     - 1.0
  32.   loader:
  33.     shuffle: true
  34.     batch_size_per_card: 64
  35.     drop_last: true
  36.     num_workers: 4
  37. Eval:
  38.   dataset:
  39.     name: SimpleDataSet
  40.     data_dir: ./train_data # 测试集图片路径
  41.     label_file_list: # 测试集标签
  42.     - ./train_data/chineseocr-data/rec_hand_line_all_label_val.txt 
  43.     - ./train_data/handwrite/HWDB2.0Test_label.txt
  44.     - ./train_data/handwrite/HWDB2.1Test_label.txt
  45.     - ./train_data/handwrite/HWDB2.2Test_label.txt
  46.     - ./train_data/handwrite/hwdb_ic13/handwriting_hwdb_val_labels.txt
  47.     - ./train_data/handwrite/HW_Chinese/test_hw.txt
  48.   loader:
  49.     shuffle: false
  50.     drop_last: false
  51.     batch_size_per_card: 64
  52.     num_workers: 4

由于数据集大多是长文本，因此需要注释掉下面的数据增广策略，以便训练出更好的模型。

  1. - RecConAug:
  2.     prob: 0.5
  3.     ext_data_num: 2
  4.     image_shape: [48, 320, 3]

开始训练

使用上面修改好的配置文件configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml，预训练模型、数据集路径、学习率、训练轮数等都已经设置完毕后，使用下面命令开始训练：

In [3]

  1. %cd /home/aistudio/PaddleOCR
  2. # 开始训练识别模型
  3. !python tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml

效果评估 训练完成后，可以进行测试评估，评估命令如下：

In [5]

  1. %cd /home/aistudio/PaddleOCR
  2. # 评估finetune效果
  3. !python tools/eval.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml -o Global.pretrained_model="./output/ch_PP-OCR_v3_rec/best_accuracy"

评估结果如下，可以看出识别准确率acc为54.3%，归一化的编辑距离norm_edit_dis为92%，该值越大越好，越大说明预测值和真实值越相近，而acc是一个比较严格的评测指标，只要有一个字符错了，那么就认定该文本行预测结果是错的。

  1. [2022/07/14 10:54:06] ppocr INFO: metric eval ***************
  2. [2022/07/14 10:54:06] ppocr INFO: acc:0.5430100180913
  3. [2022/07/14 10:54:06] ppocr INFO: norm_edit_dis:0.9203322593158589
  4. [2022/07/14 10:54:06] ppocr INFO: Teacher_acc:0.5401183969626324
  5. [2022/07/14 10:54:06] ppocr INFO: Teacher_norm_edit_dis:0.919827504507755
  6. [2022/07/14 10:54:06] ppocr INFO: fps:928.948733797251

5 python引擎推理

训练完成后，可以将训练模型转换成inference模型。inference 模型会额外保存模型的结构信息，在预测部署、加速推理上性能优越，灵活方便，适合于实际系统集成。

5.1 模型导出

导出命令如下：

In [6]

  1. %cd /home/aistudio/PaddleOCR
  2. # 转化为推理模型
  3. !python tools/export_model.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml -o Global.pretrained_model="./output/ch_PP-OCR_v3_rec/best_accuracy" Global.save_inference_dir="./inference/rec_ppocrv3/"

5.2 模型推理

导出模型后，可以使用如下命令进行推理预测:

In [7]

  1. %cd /home/aistudio/PaddleOCR
  2. # 推理预测
  3. !python tools/infer/predict_rec.py --image_dir="train_data/handwrite/HWDB2.0Test_images/104-P16_4.jpg" --rec_model_dir="./inference/rec_ppocrv3/Student"

推理结果如下：

Predicts of train_data/handwrite/HWDB2.0Test_images/104-P16_4.jpg:('品结构,差异化的多品牌渗透使欧莱雅确立了其在中国化妆', 0.9904912114143372

In [9]

  1. # 可视化文字识别图片
  2. from PIL import Image  
  3. import matplotlib.pyplot as plt
  4. import numpy as np
  5. import os 
  6.  
  7.     
  8. img_path = 'train_data/handwrite/HWDB2.0Test_images/104-P16_4.jpg' 
  9.  
  10. def vis(img_path): 
  11.     plt.figure() 
  12.     image = Image.open(img_path)  
  13.     plt.imshow(image)
  14.     plt.show()
  15.     # image = image.resize([208, 208])  
  16.     
  17.   
  18. vis(img_path)

example

6. 总结

本项目基于PP-OCRv3中英文超轻量预训练模型进行优化手写文字识别模型，将默认预训练模型的准确率从0.03%提升到54%，可以看出，模型训练效果还有进一步的提升空间，但是通过可视化输出样例，可以看出模型效果还是可观的。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/一键难忘520/article/detail/1006379
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号