devbox
酷酷是懒虫
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

PaddleOCR环境搭建、模型训练、推理、部署全流程（Ubuntu系统）_1_paddlepaddle 训练环境

作者：酷酷是懒虫 | 2024-07-12 11:27:52

赞

踩

paddlepaddle 训练环境

 前言：

OCR场景应用集合：包含数码管、液晶屏、车牌、高精度SVTR模型、手写体识别等9个垂类模型，覆盖通用，制造、金融、交通行业的主要OCR垂类应用。

​

一、环境搭建

1、PaddleOCR环境搭建

conda create -n ppocr python==3.8
conda activate ppocr

进入paddlepaddle官网输入以下指令安装paddlepaddle GPU版本

（我的cuda版本是11.8,根据你电脑装合适版本）

pip install paddlepaddle-gpu==2.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

进入PaddlePaddle / PaddleOCR官网下载 PaddleOCR_2.7版本，放在你主目录下：

之后安装命令：

百度云（百度云里面包含百度官方下载软件比较快)
pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple/
华为云(华为云有些软件特快，面对百度软件的特慢只有几十K）
pip install -r requirements.txt -i https://mirrors.huaweicloud.com/repository/pypi/simple/
清华云（下载速度都比较平均）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

腾讯云
https://mirrors.cloud.tencent.com/pypi/simple/
豆瓣
https://pypi.douban.com/simple/
网易
https://mirrors.163.com/pypi/simple/
中科大
https://pypi.mirrors.ustc.edu.cn/simple/

没有报错说明paddlepaddle-gpu环境安装成功。

2、PaddleOCR模型下载，PaddleOCR模型官网

分别下载检测和识别的推理模型

模型下载之后为两个压缩包，在PaddleOCR-realase-2.7根目录下新建文件夹

将压缩包解压到该文件夹下，如下图所示。

  打开anaconda终端激活环境进入到PaddleOCR-releas-2.7目录下运行以下指令，其中image_dir为所要识别的图片路径，det_model_dir为刚才下载的文字检测模型，rec_model_dir为刚才下载的文字识别模型。

python tools/infer/predict_system.py  --image_dir="./test_images/1.jpg" --det_model_dir="./inference_model/ch_PP-OCRv4_det_infer/" --rec_model_dir="./inference_model/ch_PP-OCRv4_rec_infer/"

环境搭建成功

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

3、安装PPOCRLabel的环境

进入到PPOCRLabel目录下运行：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

运行PaddleOCR

python PPOCRLabel.py --lang ch

遇到问题：

ValueError: operands could not be broadcast together with shapes (213,488,4) (1,1,3) 

解决方法

找到PaddleOCR/data/paddle.png         改成paddle1.png

再次运行：

python PPOCRLabel.py --lang ch

有报错需要在PPOCRLabel文件目录下的PPOCRLabel.py文件最上面加入以下代码。

  1. import os
  2. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

弹出PPOCRLabel运行界面：

二、制作数据集

  选择自动标注点击ok等待自动标注完成

自动标注：

        自动标注结束后，从第一张开始检查，漏打标的按下Q框出字体，打标文字错误的，点击方框，在右边修改，并对每一个方框给出关键词列表（点击编辑点击更改box关键词信息）。最后删除无用信息，切换下一张快捷键为D，如下图所示。

        全部打标完成之后，点击文件选择导出标记结果，再点击文件选择导出识别结果，完成后再文件夹多出四个文件fileState，Label，rec_gt, crop_img。其中crop_img中的图片用来训练文字识别模型，fileState记录图片的打标完成与否，Label为训练文字检测模型的标签，rec_gt为训练文字识别模型的标签。

        打标签后，下面进行数据集的制作。在PaddleOCR根目录下建立train_data文件夹，并且将打标签生成的文件和图片放在该文件夹下。

        打开终端进入PPOCRLabel的文件夹下,输入以下代码进行数据集的划分

python gen_ocr_train_val_test.py --trainValTestRatio 6:2:2 --datasetRootPath ../train_data/drivingData

文字检测和文字识别的数据集就都制作完成！！

paddlepaddle中configs里面具体应用：

  1. cls：代表 Classification（分类）。分类任务是机器学习中的一个基本任务，其中模型学习将输入数据划分到预定义的类别中。
  2. det：代表 Detection（检测）。检测任务涉及在图像或视频中定位和识别对象或特征。例如，在目标检测中，模型需要确定图像中对象的类别和位置。
  3. e2e：代表 End-to-End（端到端）。端到端模型通常指的是直接从原始输入生成最终输出的模型，不需要中间的手动干预或特征工程。
  4. kie：代表 Key Information Extraction（关键信息提取）。这是一种从文本中自动提取特定信息（如实体、关系、事件等）的任务。
  5. rec：代表 Recognition（识别）。识别任务可以是多种形式的，例如手写字符识别、语音识别等，其中模型学习将输入数据（如手写文字或语音信号）转换为可读的输出。
  6. sr：代表 Super-Resolution（超分辨率）。超分辨率是一种图像处理技术，用于从低分辨率图像生成高分辨率图像。
  7. table：与表格的任务有关，例如表格结构识别、表格内容提取等。

三、训练文字检测模型

1. 下载模型训练文件                   下载官方训练模型

 下载之后在PaddleOCR-release-2.7根目录下建立pretrain_models文件夹，并将训练模型解压至该文件夹下。如下图：

2. 配置ppocr检测模型文件  

在configs /  det / ch_ppocr_v2.0 /找到 ch_det_res18_db_v2.0.yml配置文件

需要修改参数：

use_gpu: true                   # 是否用GPU，无改为false

epoch_num: 50                # 训练迭代次数

print_batch_step: 2          # 一次图片传输张数

save_epoch_step: 50       # 训练迭代多少次保存一次训练模型

save_model_dir: ./output/ch_db_res18/        # 输出模型路径

pretrained_model: ./pretrain_models/ch_PP-OCRv4_det_train/best_accuracy.pdparams

Train:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/    # train_data路径
    label_file_list:
      - ./train_data/det/train.txt      # 数据集标签路径

Eval:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/                   # train_data路径
    label_file_list:
      - ./train_data/det/val.txt              # 数据集中的评估标签

我自己代码

  1. Global:
  2.   use_gpu: true                # 是否用GPU，无改为false
  3.   epoch_num: 50                # 训练迭代次数
  4.   log_smooth_window: 20
  5.   print_batch_step: 2          # 一次图片传输张数
  6.   save_model_dir: ./output/ch_db_res18/   # 输出模型文件路径
  7.   save_epoch_step: 50          # 训练迭代多少次保存一次训练模型
  8.   # evaluation is run every 5000 iterations after the 4000th iteration
  9.   eval_batch_step: [3000, 2000]
  10.   cal_metric_during_train: False
  11.   pretrained_model: ./pretrain_models/ch_PP-OCRv4_det_train/best_accuracy.pdparams # 刚下载好的训练模型路径
  12.   checkpoints:
  13.   save_inference_dir:
  14.   use_visualdl: False
  15.   infer_img: doc/imgs_en/img_10.jpg
  16.   save_res_path: ./output/det_db/predicts_db.txt
  17.  
  18. Architecture:
  19.   model_type: det
  20.   algorithm: DB
  21.   Transform:
  22.   Backbone:
  23.     name: ResNet_vd
  24.     layers: 18
  25.     disable_se: True
  26.   Neck:
  27.     name: DBFPN
  28.     out_channels: 256
  29.   Head:
  30.     name: DBHead
  31.     k: 50
  32.  
  33. Loss:
  34.   name: DBLoss
  35.   balance_loss: true
  36.   main_loss_type: DiceLoss
  37.   alpha: 5
  38.   beta: 10
  39.   ohem_ratio: 3
  40.  
  41. Optimizer:
  42.   name: Adam
  43.   beta1: 0.9
  44.   beta2: 0.999
  45.   lr:
  46.     name: Cosine
  47.     learning_rate: 0.001
  48.     warmup_epoch: 2
  49.   regularizer:
  50.     name: 'L2'
  51.     factor: 0
  52.  
  53. PostProcess:
  54.   name: DBPostProcess
  55.   thresh: 0.3
  56.   box_thresh: 0.6
  57.   max_candidates: 1000
  58.   unclip_ratio: 1.5
  59.  
  60. Metric:
  61.   name: DetMetric
  62.   main_indicator: hmean
  63.  
  64. Train:
  65.   dataset:
  66.     name: SimpleDataSet
  67.     data_dir: ./train_data/             # train_data路径
  68.     label_file_list:
  69.       - ./train_data/det/train.txt      # 数据集标签路径
  70.     ratio_list: [1.0]
  71.     transforms:
  72.       - DecodeImage: # load image
  73.           img_mode: BGR
  74.           channel_first: False
  75.       - DetLabelEncode: # Class handling label
  76.       - IaaAugment:
  77.           augmenter_args:
  78.             - { 'type': Fliplr, 'args': { 'p': 0.5 } }
  79.             - { 'type': Affine, 'args': { 'rotate': [-10, 10] } }
  80.             - { 'type': Resize, 'args': { 'size': [0.5, 3] } }
  81.       - EastRandomCropData:
  82.           size: [960, 960]
  83.           max_tries: 50
  84.           keep_ratio: true
  85.       - MakeBorderMap:
  86.           shrink_ratio: 0.4
  87.           thresh_min: 0.3
  88.           thresh_max: 0.7
  89.       - MakeShrinkMap:
  90.           shrink_ratio: 0.4
  91.           min_text_size: 8
  92.       - NormalizeImage:
  93.           scale: 1./255.
  94.           mean: [0.485, 0.456, 0.406]
  95.           std: [0.229, 0.224, 0.225]
  96.           order: 'hwc'
  97.       - ToCHWImage:
  98.       - KeepKeys:
  99.           keep_keys: ['image', 'threshold_map', 'threshold_mask', 'shrink_map', 'shrink_mask'] # the order of the dataloader list
  100.   loader:
  101.     shuffle: True
  102.     drop_last: False
  103.     batch_size_per_card: 2
  104.     num_workers: 2
  105.  
  106. Eval:
  107.   dataset:
  108.     name: SimpleDataSet
  109.     data_dir: ./train_data/                   # train_data路径
  110.     label_file_list:
  111.       - ./train_data/det/val.txt              # 数据集中的评估标签
  112.     transforms:
  113.       - DecodeImage: # load image
  114.           img_mode: BGR
  115.           channel_first: False
  116.       - DetLabelEncode: # Class handling label
  117.       - DetResizeForTest:
  118. #           image_shape: [736, 1280]
  119.       - NormalizeImage:
  120.           scale: 1./255.
  121.           mean: [0.485, 0.456, 0.406]
  122.           std: [0.229, 0.224, 0.225]
  123.           order: 'hwc'
  124.       - ToCHWImage:
  125.       - KeepKeys:
  126.           keep_keys: ['image', 'shape', 'polys', 'ignore_tags']
  127.   loader:
  128.     shuffle: False
  129.     drop_last: False
  130.     batch_size_per_card: 1 # must be 1
  131.     num_workers: 2

3.模型开始训练

        打开anaconda终端，激活环境进入到PaddleOCR-releas-2.7根目录下

        输入以下指令开始模型训练：

python tools/train.py -c configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml

4. 测试训练模型

找到模型保存的路径：/output/ch_db_res18/ 

使用best_accuracy.pdparams进行我们的模型测试，没有说明训练次数少，用latest.pdparams模型测试

在anaconda终端中输入以下指令进行测试， 其中Global.pretrained_model是训练好并且需要测试的模型，Global.infer_img为所要检测的图片路径。

python tools/infer_det.py -c configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml -o Global.pretrained_model=output/ch_db_res18/latest.pdparams Global.infer_img="./test_images/1.jpg"

查看输出结果：

        检测模型完成，接下来进行识别模型训练和测试

四、训练文字识别模型

1、修改识别模型配置文件

文字识别使用配置文件为ch_PP-OCRv3_rec.yml

在configs /  rec / PP-OCRv3 /找到 ch_PP-OCRv3_rec.yml 配置文件

 修改的地方和文字检测修改类似。

需要修改参数：

use_gpu: true                   # 是否用GPU，无改为false

epoch_num: 50                # 训练迭代次数

print_batch_step: 2          # 一次图片传输张数

save_epoch_step: 50       # 训练迭代多少次保存一次训练模型

save_model_dir: ./output/ch_db_res18/        # 输出模型路径

pretrained_model: ./pretrain_models/ch_PP-OCRv4_rec_train/student.pdparams # 识别训练模型路径

Train:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/    # train_data路径
    label_file_list:
      - ./train_data/rec/train.txt      # 识别训练数据集标签路径

Eval:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/                   # train_data路径
    label_file_list:
      - ./train_data/rec/val.txt              # 识别数据集中的评估标签路径

我自己代码

  1. Global:
  2.   debug: false
  3.   use_gpu: true
  4.   epoch_num: 50
  5.   log_smooth_window: 20
  6.   print_batch_step: 1
  7.   save_model_dir: ./output/rec_ppocr_v3
  8.   save_epoch_step: 15
  9.   eval_batch_step: [3000, 2000]
  10.   cal_metric_during_train: true
  11.   pretrained_model: ./pretrain_models/ch_PP-OCRv4_rec_train/student.pdparams # 识别训练模型路径
  12.   checkpoints:
  13.   save_inference_dir:
  14.   use_visualdl: false
  15.   infer_img: doc/imgs_words/ch/word_1.jpg
  16.   character_dict_path: ppocr/utils/ppocr_keys_v1.txt
  17.   max_text_length: &max_text_length 25
  18.   infer_mode: false
  19.   use_space_char: true
  20.   distributed: true
  21.   save_res_path: ./output/rec/predicts_ppocrv4.txt
  22.  
  23.  
  24.  
  25.  
  26. Optimizer:
  27.   name: Adam
  28.   beta1: 0.9
  29.   beta2: 0.999
  30.   lr:
  31.     name: Cosine
  32.     learning_rate: 0.001
  33.     warmup_epoch: 5
  34.   regularizer:
  35.     name: L2
  36.     factor: 3.0e-05
  37.  
  38.  
  39. Architecture:
  40.   model_type: rec
  41.   algorithm: SVTR_LCNet
  42.   Transform:
  43.   Backbone:
  44.     name: MobileNetV1Enhance
  45.     scale: 0.5
  46.     last_conv_stride: [1, 2]
  47.     last_pool_type: avg
  48.     last_pool_kernel_size: [2, 2]
  49.   Head:
  50.     name: MultiHead
  51.     head_list:
  52.       - CTCHead:
  53.           Neck:
  54.             name: svtr
  55.             dims: 64
  56.             depth: 2
  57.             hidden_dims: 120
  58.             use_guide: True
  59.           Head:
  60.             fc_decay: 0.00001
  61.       - SARHead:
  62.           enc_dim: 512
  63.           max_text_length: *max_text_length
  64.  
  65. Loss:
  66.   name: MultiLoss
  67.   loss_config_list:
  68.     - CTCLoss:
  69.     - SARLoss:
  70.  
  71. PostProcess:  
  72.   name: CTCLabelDecode
  73.  
  74. Metric:
  75.   name: RecMetric
  76.   main_indicator: acc
  77.   ignore_space: False
  78.  
  79. Train:
  80.   dataset:
  81.     name: SimpleDataSet
  82.     data_dir: ./train_data/
  83.     ext_op_transform_idx: 1
  84.     label_file_list:
  85.     - ./train_data/rec/train.txt      # 识别训练数据集标签路径
  86.     transforms:
  87.     - DecodeImage:
  88.         img_mode: BGR
  89.         channel_first: false
  90.     - RecConAug:
  91.         prob: 0.5
  92.         ext_data_num: 2
  93.         image_shape: [48, 320, 3]
  94.         max_text_length: *max_text_length
  95.     - RecAug:
  96.     - MultiLabelEncode:
  97.     - RecResizeImg:
  98.         image_shape: [3, 48, 320]
  99.     - KeepKeys:
  100.         keep_keys:
  101.         - image
  102.         - label_ctc
  103.         - label_sar
  104.         - length
  105.         - valid_ratio
  106.   loader:
  107.     shuffle: true
  108.     batch_size_per_card: 16
  109.     drop_last: true
  110.     num_workers: 8
  111. Eval:
  112.   dataset:
  113.     name: SimpleDataSet
  114.     data_dir: ./train_data/
  115.     label_file_list:
  116.     - ./train_data/rec/val.txt         # 识别数据集中的评估标签路径
  117.     transforms:
  118.     - DecodeImage:
  119.         img_mode: BGR
  120.         channel_first: false
  121.     - MultiLabelEncode:
  122.     - RecResizeImg:
  123.         image_shape: [3, 48, 320]
  124.     - KeepKeys:
  125.         keep_keys:
  126.         - image
  127.         - label_ctc
  128.         - label_sar
  129.         - length
  130.         - valid_ratio
  131.   loader:
  132.     shuffle: false
  133.     drop_last: false
  134.     batch_size_per_card: 16
  135.     num_workers: 8

2.模型训练

  打开anaconda终端，激活环境进入到PaddleOCR-releas-2.7根目录下。输入以下指令开始模型训练。

python tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml

报错如下：

Out of memory error on GPU 0. Cannot allocate 120.000000MB memory on GPU 0, 5.726685GB memory has been allocated and available memory is only 41.250000MB.

Please check whether there is any other process using GPU 0.
1. If yes, please stop them, or start PaddlePaddle on another GPU.
2. If no, please decrease the batch size of your model. 
 (at /paddle/paddle/fluid/memory/allocation/cuda_allocator.cc:86)
 

解决办法：

调低      batch_size

识别模型训练完成

3.模型测试

        在anaconda终端中输入以下指令进行测试。 其中Global.pretrained_model是我们训练好并且需要测试的模型，Global.infer_img为所要检测的图片路径。

 python tools/infer_rec.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o Global.pretrained_model=output/rec_ppocr_v3/best_accuracy.pdparams Global.infer_img="./test_images/1.jpg"

识别模型结束

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

五、转换成推理模型

在anaconda终端中输入指令进行测试

 其中Global.pretrained_model是训练好并且需要推理的模型，Global.save_inference_dir为要保存推理模型的位置。推理模型是可以直接被调用进行识别和检测。分别把训练好的文字检测模型和文字识别模型推理。

python tools/export_model.py -c "./configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml" -o Global.pretrained_model="./output/ch_db_res18/latest.pdparams" Global.save_inference_dir="./inference_model/det/"

保存在 inference model is saved to ./inference_model/det/inference

python tools/export_model.py -c "./configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml" -o Global.pretrained_model="./output/rec_ppocr_v3/latest.pdparams" Global.save_inference_dir="./inference_model/rec/"

保存在 inference model is saved to ./inference_model/rec/inference
 

其中det和rec即是保存的推理模型

用predict_system.py进行验证。打开anaconda终端输入以下指令：

python tools/infer/predict_system.py --image_dir="./test_images/1.jpg" --det_model_dir="./inference_model/det/" --rec_model_dir="./inference_model/rec"

 输入指令后结果如下：

表格识别在下篇文章：PP-Structure 文档分析-CSDN博客

六、推理模型应用

参考文章：PaddleOCR训练属于自己的模型详细教程（从打标，制作数据集，训练到应用，以行驶证识别为例）-CSDN博客

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/813904
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号