Skip to content

Latest commit

 

History

History
215 lines (170 loc) · 8.94 KB

ppvehicle_plate.md

File metadata and controls

215 lines (170 loc) · 8.94 KB
Raw

简体中文 | English

车牌识别任务二次开发

车牌识别任务，采用PP-OCRv3模型在车牌数据集上进行fine-tune得到，过程参考PaddleOCR车牌应用介绍在CCPD2019数据集上进行了拓展。

数据准备

  1. 对于CCPD2019、CCPD2020数据集，我们提供了处理脚本ccpd2ocr_all.py, 使用时跟CCPD2019、CCPD2020数据集文件夹放在同一目录下，然后执行脚本即可在CCPD2019/PPOCR、CCPD2020/PPOCR目录下得到检测、识别模型的训练标注文件。训练时可以整合到一起使用。
  2. 对于其他来源数据或者自标注数据，可以按如下格式整理训练列表文件：
  • 车牌检测标注

标注文件格式如下，中间用'\t'分隔：

" 图像文件路径                    标注框标注信息"
CCPD2020/xxx.jpg    [{"transcription": "京AD88888", "points": [[310, 104], [416, 141], [418, 216], [312, 179]]}, {...}]

标注框标注信息是包含多个字典的list，有多少个标注框就有多少个字典对应，字典中的 points 表示车牌框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。 transcription 表示当前文本框的文字，当其内容为“###”时，表示该文本框无效，在训练时会跳过。

  • 车牌字符识别标注

标注文件的格式如下，txt文件中默认请将图片路径和图片标签用'\t'分割，如用其他方式分割将造成训练报错。其中图片是对车牌字符的截图。

" 图像文件名                 字符标注信息 "
CCPD2020/crop_imgs/xxx.jpg   京AD88888

模型训练

首先执行以下命令clone PaddleOCR库代码到训练机器：

git clone git@github.com:PaddlePaddle/PaddleOCR.git

下载预训练模型：

#检测预训练模型：
mkdir models
cd models
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_distill_train.tar
tar -xf ch_PP-OCRv3_det_distill_train.tar

#识别预训练模型：
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_train.tar
tar -xf ch_PP-OCRv3_rec_train.tar
cd ..

安装相关依赖环境：

cd PaddleOCR
pip install -r requirements.txt

然后进行训练相关配置修改。

修改配置

检测模型配置项

修改配置项包括以下3部分内容，可以在训练时以命令行修改，或者直接在配置文件configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml中修改：

  1. 模型存储和训练相关:
  • Global.pretrained_model: 指向前面下载的PP-OCRv3文本检测预训练模型地址
  • Global.eval_batch_step: 模型多少step评估一次，一般设置为一个epoch对应的step数，可以从训练开始的log中读取。此处以[0, 772]为例，第一个数字表示从第0各step开始算起。
  1. 优化器相关:
  • Optimizer.lr.name: 学习率衰减器设为常量 Const
  • Optimizer.lr.learning_rate: 做 fine-tune 实验，学习率需要设置的比较小，此处学习率设为配置文件中的0.05倍
  • Optimizer.lr.warmup_epoch: warmup_epoch设为0
  1. 数据集相关:
  • Train.dataset.data_dir：指向训练集图片存放根目录
  • Train.dataset.label_file_list：指向训练集标注文件
  • Eval.dataset.data_dir：指向测试集图片存放根目录
  • Eval.dataset.label_file_list：指向测试集标注文件

识别模型配置项

修改配置项包括以下3部分内容，可以在训练时以命令行修改，或者直接在配置文件configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml中修改：

  1. 模型存储和训练相关:
  • Global.pretrained_model: 指向PP-OCRv3文本识别预训练模型地址
  • Global.eval_batch_step: 模型多少step评估一次，一般设置为一个epoch对应的step数，可以从训练开始的log中读取。此处以[0, 90]为例，第一个数字表示从第0各step开始算起。
  1. 优化器相关
  • Optimizer.lr.name: 学习率衰减器设为常量 Const
  • Optimizer.lr.learning_rate: 做 fine-tune 实验，学习率需要设置的比较小，此处学习率设为配置文件中的0.05倍
  • Optimizer.lr.warmup_epoch: warmup_epoch设为0
  1. 数据集相关
  • Train.dataset.data_dir：指向训练集图片存放根目录
  • Train.dataset.label_file_list：指向训练集标注文件
  • Eval.dataset.data_dir：指向测试集图片存放根目录
  • Eval.dataset.label_file_list：指向测试集标注文件

执行训练

然后运行以下命令开始训练。如果在配置文件中已经做了修改，可以省略-o及其后面的内容。

检测模型训练命令

#单卡训练
python3 tools/train.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o \
    Global.pretrained_model=models/ch_PP-OCRv3_det_distill_train/student.pdparams \
    Global.save_model_dir=output/CCPD/det \
    Global.eval_batch_step="[0, 772]" \
    Optimizer.lr.name=Const \
    Optimizer.lr.learning_rate=0.0005 \
    Optimizer.lr.warmup_epoch=0 \
    Train.dataset.data_dir=/home/aistudio/ccpd_data/ \
    Train.dataset.label_file_list=[/home/aistudio/ccpd_data/train/det.txt]

#多卡训练
export CUDA_VISIBLE_DEVICES=0,1,2,3
python3 -m paddle.distributed.launch \
    tools/train.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o \
    Global.pretrained_model=models/ch_PP-OCRv3_det_distill_train/student.pdparams \
    Global.save_model_dir=output/CCPD/det \
    Global.eval_batch_step="[0, 772]" \
    Optimizer.lr.name=Const \
    Optimizer.lr.learning_rate=0.0005 \
    Optimizer.lr.warmup_epoch=0 \
    Train.dataset.data_dir=/home/aistudio/ccpd_data/ \
    Train.dataset.label_file_list=[/home/aistudio/ccpd_data/train/det.txt]

训练完成后可以执行以下命令进行性能评估：

#单卡评估
python tools/eval.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o \
    Global.pretrained_model=output/CCPD/det/best_accuracy.pdparams \
    Eval.dataset.data_dir=/home/aistudio/ccpd_data/ \
    Eval.dataset.label_file_list=[/home/aistudio/ccpd_data/test/det.txt]

识别模型训练命令

#单卡训练
python3 tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o \
    Global.pretrained_model=models/ch_PP-OCRv3_rec_train/student.pdparams \
    Global.save_model_dir=output/CCPD/rec/ \
    Global.eval_batch_step="[0, 90]" \
    Optimizer.lr.name=Const \
    Optimizer.lr.learning_rate=0.0005 \
    Optimizer.lr.warmup_epoch=0 \
    Train.dataset.data_dir=/home/aistudio/ccpd_data \
    Train.dataset.label_file_list=[/home/aistudio/ccpd_data/train/rec.txt] \
    Eval.dataset.data_dir=/home/aistudio/ccpd_data \
    Eval.dataset.label_file_list=[/home/aistudio/ccpd_data/test/rec.txt]


#多卡训练
export CUDA_VISIBLE_DEVICES=0,1,2,3
python3 -m paddle.distributed.launch \
    tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o \
    Global.pretrained_model=models/ch_PP-OCRv3_rec_train/student.pdparams \
    Global.save_model_dir=output/CCPD/rec/ \
    Global.eval_batch_step="[0, 90]" \
    Optimizer.lr.name=Const \
    Optimizer.lr.learning_rate=0.0005 \
    Optimizer.lr.warmup_epoch=0 \
    Train.dataset.data_dir=/home/aistudio/ccpd_data \
    Train.dataset.label_file_list=[/home/aistudio/ccpd_data/train/rec.txt] \
    Eval.dataset.data_dir=/home/aistudio/ccpd_data \
    Eval.dataset.label_file_list=[/home/aistudio/ccpd_data/test/rec.txt]

训练完成后可以执行以下命令进行性能评估：

#单卡评估
python tools/eval.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o \
    Global.pretrained_model=output/CCPD/rec/best_accuracy.pdparams \
    Eval.dataset.data_dir=/home/aistudio/ccpd_data/ \
    Eval.dataset.label_file_list=[/home/aistudio/ccpd_data/test/rec.txt]

模型导出

使用下述命令将训练好的模型导出为预测部署模型。

检测模型导出

python tools/export_model.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o \
    Global.pretrained_model=output/CCPD/det/best_accuracy.pdparams \
    Global.save_inference_dir=output/det/infer

识别模型导出

python tools/export_model.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o \
    Global.pretrained_model=output/CCPD/rec/best_accuracy.pdparams \
    Global.save_inference_dir=output/CCPD/rec/infer

使用时在PP-Vehicle中的配置文件./deploy/pipeline/config/infer_cfg_ppvehicle.yml中修改VEHICLE_PLATE模块中的det_model_dir、rec_model_dir项，并开启功能enable: True。

VEHICLE_PLATE:
  det_model_dir: [YOUR_DET_INFERENCE_MODEL_PATH]                #设置检测模型路径
  det_limit_side_len: 736
  det_limit_type: "max"
  rec_model_dir: [YOUR_REC_INFERENCE_MODEL_PATH]                #设置识别模型路径
  rec_image_shape: [3, 48, 320]
  rec_batch_num: 6
  word_dict_path: deploy/pipeline/ppvehicle/rec_word_dict.txt
  enable: True                                                  #开启功能

然后可以使用-->至此即完成更新车牌识别模型任务。