yolov5鱼苗检测计数：从数据标注到训练

机器学习AI算法工程

发布于 2022-03-04 13:40:32

2.6K0

发布于 2022-03-04 13:40:32

文章被收录于专栏：机器学习AI算法工程

向AI转型的程序员都关注了这个号👇👇👇

机器学习AI算法工程公众号：datayx

目标检测yolov5 v6.0版，pytorch实现，包含了目标检测数据标注，数据集增强，训练自定义数据集全流程。

一.环境

    Python >= 3.7
    Pytorch >= 1.7.x

二.标注工具

pip install labelImg ==1.8.6

安装完毕后，键入命令：

labelImg

或者下载工具 labelImg.exe

项目全部代码，数据集，标注工具，预训练模型获取方式：

关注微信公众号 datanlp 然后回复鱼苗即可获取。

半自动标注

如果数据集较多，可以先手动标注少量，然后训练出初版模型，然后用初版模型预测进行预标注，最后人工检查。

步骤：

1.将待标注图像放入auto_label/images

2.修改auto_label.py的第62至65行如下的内容：

path = r"auto_label/images"   #待标注图片路径
xml_path = r"auto_label/images"    #输出的xml标注文件保存路径
yolo_model_weight='./weight/IDCard_v6x_best.pt'  #模型文件路径
data_conf = './data/custom_data.yaml'  #数据集配置文件路径

3.运行auto_label.py

三.数据集增强

步骤：

1.将标注数据集的标签（xml文件）放入./DataAugForObjectDetection/data/Annotations

2.将标注数据集的图片放入./DataAugForObjectDetection/data/images

3.修改./DataAugForObjectDetection/DataAugmentForObejctDetection.py/中的need_aug_num，即每张图片需要扩增的数量，然后运行./DataAugForObjectDetection/DataAugmentForObejctDetection.py

注意：DataAugmentForObejctDetection_pool.py 是多进程增强版本，耗时较少。代码中的process不宜设置过大否则可能会报错，默认即可。

四.数据集格式转换

将 VOC 的数据集转换成 YOLOv5 训练需要用到的格式。

步骤：

1.将标注数据集的标签（xml文件）放入./datasets/Annotations

2.将标注数据集的图片放入./datasets/images

3.将voc_to_coco.py中的class_names改为数据集中标注的类别名称，运行 voc_to_coco.py

额外说明

需要生成每个图片对应的 .txt 文件，其规范如下：

每一行都是一个目标
类别序号是零索引开始的（从0开始）
每一行的坐标 class x_center y_center width height 格式
框坐标必须采用归一化的 xywh格式（从0到1）。如果您的框以像素为单位，则将x_center和width除以图像宽度，将y_center和height除以图像高度。

生成的 .txt 例子：

1 0.1830000086920336 0.1396396430209279 0.13400000636465847 0.15915916301310062
1 0.5240000248886645 0.29129129834473133 0.0800000037997961 0.16816817224025726
1 0.6060000287834555 0.29579580295830965 0.08400000398978591 0.1771771814674139
1 0.6760000321082771 0.25375375989824533 0.10000000474974513 0.21321321837604046
0 0.39300001866649836 0.2552552614361048 0.17800000845454633 0.2822822891175747
0 0.7200000341981649 0.5570570705458522 0.25200001196935773 0.4294294398277998
0 0.7720000366680324 0.2567567629739642 0.1520000072196126 0.23123123683035374

如果数据标签没生成正确，则会报错

mlc = int(np.concatenate(dataset.labels, 0)[:, 0].max())  # max label class
  File "D:\app\anaconda3\lib\site-packages\numpy\core\_methods.py", line 40, in _amax
    return umr_maximum(a, axis, None, out, keepdims, initial, where)
ValueError: zero-size array to reduction operation maximum which has no identity

五.修改数据集配置文件

在 data/目录下修改数据集配置文件 custom_data.yaml ，文件内容如下

# 目标类型数量，按自己的数据集来改
nc: 3

#目标类型名称，按自己的数据集来改
names: ['person', 'head', 'helmet']

六.聚类得出先验框（Yolov5 内部已做适配，可选）

步骤：

1.将./gen_anchors/clauculate_anchors.py的CLASS_NAMES改为数据集中标注的类别名称

2.运行 ./gen_anchors/clauculate_anchors.py

跑完会生成一个文件 anchors.txt，里面有得出的建议先验框：

Best Anchors : 
[257, 114, 309, 75, 327, 243]
[439, 59, 469, 347, 488, 117]
[497, 460, 500, 240, 500, 172]

七.修改模型配置文件

在文件夹 ./models 下选择一个你需要的模型然后复制一份出来（选择的预训练模型pt文件模型名称必须与模型配置文件yaml对应，否则加载模型会报错），将文件开头的 nc = 修改为数据集的分类数，修改第六步获取的先验框anchors（可选）。

比如，预训练模型是yolov5s.pt,就需要复制一份./models/yolov5s.yaml，重命名为custom_yolov5.yaml。

然后修改custom_yolov5.yaml中的 nc和anchors（可选）。

# parameters
nc: 1  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# anchors
anchors:
  - [257, 114, 309, 75, 327, 243]  # P3/8
  - [439, 59, 469, 347, 488, 117]  # P4/16
  - [497, 460, 500, 240, 500, 172]  # P5/32

八.开始训练

1.将预训练模型下载放置在weight目录下；

2.修改train.py中的第454行weights预训练模型的路径；

3.修改train.py中的第455行cfg模型配置文件路径

4.修改train.py中的第455行batch-size

5.运行train.py

注意 workers=0 #必须为0

注意：

如果代码是从github 重新clone下来的，需要

注释掉 utils/loggers/init.py 的wandb，不然程序会提示你需要注册wandb用户

修改如下：

# try:
#     import wandb
#
#     assert hasattr(wandb, '__version__')  # verify package import not local dir
#     if pkg.parse_version(wandb.__version__) >= pkg.parse_version('0.12.2') and RANK in [0, -1]:
#         try:
#             wandb_login_success = wandb.login(timeout=30)
#         except wandb.errors.UsageError:  # known non-TTY terminal issue
#             wandb_login_success = False
#         if not wandb_login_success:
#             wandb = None
# except (ImportError, AssertionError):
#     wandb = None
wandb = None

train.py开头添加

os.environ['CUDA_VISIBLE_DEVICES'] = '0'

File "/home/lkz/.virtualenvs/lkztor/lib64/python3.6/site-packages/torch/nn/modules/module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "/data/disk2/pact/yolov5_v6.0/models/common.py", line 47, in forward
    return self.act(self.bn(self.conv(x)))
  File "/home/lkz/.virtualenvs/lkztor/lib64/python3.6/site-packages/torch/nn/modules/module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "/home/lkz/.virtualenvs/lkztor/lib64/python3.6/site-packages/torch/nn/modules/conv.py", line 446, in forward
    return self._conv_forward(input, self.weight, self.bias)
  File "/home/lkz/.virtualenvs/lkztor/lib64/python3.6/site-packages/torch/nn/modules/conv.py", line 443, in _conv_forward
    self.padding, self.dilation, self.groups)
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution

显存不足导致

解决办法：减小batchzise