工业缺陷检测项目：基于YOLOv5的玻璃瓶盖缺陷检测

本文摘要

News Watch

本文原创自研创新改进：

1

工业缺陷检测简介

在工业生产中，质量保证是一个很重要的话题， 因此在生产中细小的缺陷需要被可靠的检出。工业异常检出旨在从正常的样本中检测异常的、有缺陷的情况。工业异常检测主要面临的挑战：

1）难以获取大量异常样本

2）正常样本和异常样本差异较小

3）异常的类型不能预先得知这些挑战使得很难使用传统的分类算法训练，需要提出特殊的方法来应对处理。

1.数据集介绍

挑战

•在玻璃瓶生产过程中，由于加工工艺的复杂性，无法避免产生各种的缺陷产品，给产品质量带来严重隐患。

•为了提高产品出厂的品质，厂家通常依靠大量的人工检查来挑除废品。

但人工检查速度慢，需要占用大量的人力、物力资源和场地资源，而且人眼长时间工作后，极易出现疲劳和疏忽的情况，无法高效保证产品质量。

•玻璃瓶缺陷类型细微，且易反光，增加检测难度。

缺陷类型：cap，数据集数量：125张

 1.1 通过split_train_val.py得到trainval.txt、val.txt、test.txt

# coding:utf-8

import osimport randomimport argparse

parser = argparse.ArgumentParser()#xml文件的地址，根据自己的数据进行修改 xml一般存放在Annotations下parser.add_argument('--xml_path', default='Annotations', type=str, help='input xml label path')#数据集的划分，地址选择自己数据下的ImageSets/Mainparser.add_argument('--txt_path', default='ImageSets/Main', type=str, help='output txt label path')opt = parser.parse_args()

trainval_percent = 0.9train_percent = 0.8xmlfilepath = opt.xml_pathtxtsavepath = opt.txt_pathtotal_xml = os.listdir(xmlfilepath)if not os.path.exists(txtsavepath):   os.makedirs(txtsavepath)

num = len(total_xml)list_index = range(num)tv = int(num * trainval_percent)tr = int(tv * train_percent)trainval = random.sample(list_index, tv)train = random.sample(trainval, tr)

file_trainval = open(txtsavepath + '/trainval.txt', 'w')file_test = open(txtsavepath + '/test.txt', 'w')file_train = open(txtsavepath + '/train.txt', 'w')file_val = open(txtsavepath + '/val.txt', 'w')

for i in list_index:   name = total_xml[i][:-4] + '\n'   if i in trainval:       file_trainval.write(name)       if i in train:           file_train.write(name)       else:           file_val.write(name)   else:       file_test.write(name)

file_trainval.close()file_train.close()file_val.close()file_test.close()

1.2 通过voc_label.py得到适合yolov5训练需要的

# -*- coding: utf-8 -*-import xml.etree.ElementTree as ETimport osfrom os import getcwd

sets = ['train', 'val']classes = ["cap"]   # 改成自己的类别abs_path = os.getcwd()print(abs_path)

def convert(size, box):   dw = 1. / (size[0])   dh = 1. / (size[1])   x = (box[0] + box[1]) / 2.0 - 1   y = (box[2] + box[3]) / 2.0 - 1   w = box[1] - box[0]   h = box[3] - box[2]   x = x * dw   w = w * dw   y = y * dh   h = h * dh   return x, y, w, h

def convert_annotation(image_id):   in_file = open('Annotations/%s.xml' % (image_id), encoding='UTF-8')   out_file = open('labels/%s.txt' % (image_id), 'w')   tree = ET.parse(in_file)   root = tree.getroot()   size = root.find('size')   w = int(size.find('width').text)   h = int(size.find('height').text)   for obj in root.iter('object'):       difficult = obj.find('difficult').text       #difficult = obj.find('Difficult').text       cls = obj.find('name').text       if cls not in classes or int(difficult) == 1:           continue       cls_id = classes.index(cls)       xmlbox = obj.find('bndbox')       b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),            float(xmlbox.find('ymax').text))       b1, b2, b3, b4 = b       # 标注越界修正       if b2 > w:           b2 = w       if b4 > h:           b4 = h       b = (b1, b2, b3, b4)       bb = convert((w, h), b)       out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()for image_set in sets:   if not os.path.exists('labels/'):       os.makedirs('labels/')   image_ids = open('ImageSets/Main/%s.txt' % (image_set)).read().strip().split()   list_file = open('%s.txt' % (image_set), 'w')   for image_id in image_ids:       list_file.write(abs_path + '/images/%s.jpg\n' % (image_id))       convert_annotation(image_id)   list_file.close()

2

基于yolov5的瓶盖缺陷识别

2.1配置 bottleneck.yaml

train: ./data/bottleneck/trainval.txtval: ./data/bottleneck/test.txt

# number of classesnc: 1

# class namesnames: ["gap"]

2.2 修改yolov5s_bottleneck.yaml

# YOLOv5  by Ultralytics, GPL-3.0 license

# Parametersnc: 1  # number of classesdepth_multiple: 0.33  # model depth multiplewidth_multiple: 0.50  # layer channel multipleanchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbonebackbone: # [from, number, module, args] [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2  [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4  [-1, 3, C3, [128]],  [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8  [-1, 6, C3, [256]],  [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16  [-1, 9, C3, [512]],  [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32  [-1, 3, C3, [1024]],  [-1, 1, SPPF, [1024, 5]],  # 9 ]

# YOLOv5 v6.0 headhead: [[-1, 1, Conv, [512, 1, 1]],  [-1, 1, nn.Upsample, [None, 2, 'nearest']],  [[-1, 6], 1, Concat, [1]],  # cat backbone P4  [-1, 3, C3, [512, False]],  # 13

 [-1, 1, Conv, [256, 1, 1]],  [-1, 1, nn.Upsample, [None, 2, 'nearest']],  [[-1, 4], 1, Concat, [1]],  # cat backbone P3  [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

 [-1, 1, Conv, [256, 3, 2]],  [[-1, 14], 1, Concat, [1]],  # cat head P4  [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

 [-1, 1, Conv, [512, 3, 2]],  [[-1, 10], 1, Concat, [1]],  # cat head P5  [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)

 [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5) ]

2.3 训练瓶盖缺陷模型

def parse_opt(known=False):   parser = argparse.ArgumentParser()   parser.add_argument('--weights', type=str, default=ROOT / 'weights/yolov5s.pt', help='initial weights path')   parser.add_argument('--cfg', type=str, default='models/yolov5s.yaml', help='model.yaml path')   parser.add_argument('--data', type=str, default=ROOT / 'data/bottleneck.yaml', help='dataset.yaml path')   parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')   parser.add_argument('--epochs', type=int, default=100, help='total training epochs')   parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs, -1 for autobatch')   parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=640, help='train, val image size (pixels)')   parser.add_argument('--rect', action='store_true', help='rectangular training')   parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')   parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')   parser.add_argument('--noval', action='store_true', help='only validate final epoch')   parser.add_argument('--noautoanchor', action='store_true', help='disable AutoAnchor')   parser.add_argument('--noplots', action='store_true', help='save no plot files')   parser.add_argument('--evolve', type=int, nargs='?', const=300, help='evolve hyperparameters for x generations')   parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')   parser.add_argument('--cache', type=str, nargs='?', const='ram', help='image --cache ram/disk')   parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')   parser.add_argument('--device', default='2', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')   parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')   parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')   parser.add_argument('--optimizer', type=str, choices=['SGD', 'Adam', 'AdamW'], default='SGD', help='optimizer')   parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')   parser.add_argument('--workers', type=int, default=0, help='max dataloader workers (per RANK in DDP mode)')   parser.add_argument('--project', default=ROOT / 'runs/train_bottleneck', help='save to project/name')   parser.add_argument('--name', default='exp', help='save to project/name')   parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')   parser.add_argument('--quad', action='store_true', help='quad dataloader')   parser.add_argument('--cos-lr', action='store_true', help='cosine LR scheduler')   parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')   parser.add_argument('--patience', type=int, default=100, help='EarlyStopping patience (epochs without improvement)')   parser.add_argument('--freeze', nargs='+', type=int, default=[0], help='Freeze layers: backbone=10, first3=0 1 2')   parser.add_argument('--save-period', type=int, default=-1, help='Save checkpoint every x epochs (disabled if < 1)')   parser.add_argument('--seed', type=int, default=0, help='Global training seed')   parser.add_argument('--local_rank', type=int, default=-1, help='Automatic DDP Multi-GPU argument, do not modify')

开启python train.py

3

性能评价

该任务采用yolov5都能够正确识别，缺陷相对来说在工业界算相对比较简单的任务。