阅读 YOLOv4 过程中有趣的部分是新技术已经应用来评估、修改并集成到YOLOv4中。而且它还做了一些改变,使检测器更适合在单个GPU上训练。 将结果传递到一个3×3的卷积中,以减少上采样的伪影,并为head 创建下面的feature map P4。 ? 然后,将来自不同内核大小的feature map 连接在一起作为输出。 ? 下图演示了如何将SPP集成到YOLO中。 ? 但是,在YOLOv4中,features maps是连接在一起的,而不是相邻的层相加的。 ? 在FPN中,目标是在不同尺度上分别独立地进行检测的。 Technology evaluated 虽然本文介绍了在YOLOv4中集成了哪些技术,但YOLOv4在评估其他技术方面花费了大量精力。为了结束本文,下面的图表列出了YOLOv4考虑的技术。 ?
实验表明,当使用本文提出的MS-DAYOLO训练YOLOv4时,以及在自动驾驶应用中具有挑战性的天气条件的目标数据上进行测试时,目标检测性能得到了显著改善。 本文作者的目标是将域适应应用于这3个特征(图中的F1、F2、F3),使它们对不同尺度的域变化具有鲁棒性,从而使它们在基于域适应的训练中向域不变性收敛。 2.2 Domain Adaptive Network for YOLO 提出的域自适应网络(DAN)仅在训练时附加到YOLOv4中以学习域不变特征。 对于推理,在推理阶段,将使用原始的YOLOv4体系结构中使用领域自适应训练的权重(没有DAN网络)。因此,本文所提出的框架不会增加推理过程中底层检测器的复杂性。 其中 是GRL的一个负标量,用来平衡检测损失和域分类损失。事实上, 是用来优化DAN对backbone的影响。
2核2G云服务器 每月9.33元起,个人开发者专属3年机 低至2.3折
YOLOv2相比YOLOv1的改进策略 改进: Batch Normalization(批量归一化) mAP提升2.4%。 批归一化有助于解决反向传播过程中的梯度消失和梯度爆炸问题,降低对一些超参数(比如学习率、网络参数的大小范围、激活函数的选择)的敏感性,并且每个batch分别进行归一化的时候,起到了一定的正则化效果(YOLO2 YOLO的卷积层采用32这个值来下采样图片,所以通过选择416*416用作输入尺寸最终能输出一个13*13的Feature Map。 YOLOv4 在COCO上,可达43.5% AP,速度高达 65 FPS! YOLOv4的特点是集大成者,俗称堆料。但最终达到这么高的性能,一定是不断尝试、不断堆料、不断调参的结果,给作者点赞。 看看YOLOv4部分组件: 感受一下YOLOv4实验的充分性(调参的艺术): 感受一下性能炸裂的YOLOv4实验结果: YOLOv5: 2020年2月YOLO之父Joseph Redmon
YOLOv2相比YOLOv1的改进策略 改进: Batch Normalization(批量归一化) mAP提升2.4%。 批归一化有助于解决反向传播过程中的梯度消失和梯度爆炸问题,降低对一些超参数(比如学习率、网络参数的大小范围、激活函数的选择)的敏感性,并且每个batch分别进行归一化的时候,起到了一定的正则化效果(YOLO2 YOLO的卷积层采用32这个值来下采样图片,所以通过选择416*416用作输入尺寸最终能输出一个13*13的Feature Map。 看看YOLOv4部分组件: 感受一下YOLOv4实验的充分性(调参的艺术): 感受一下性能炸裂的YOLOv4实验结果: YOLOv5: 2020年2月YOLO之父Joseph Redmon 对比一下:使用 darknet 架构的 YOLOv4 有 244 MB。这说明 YOLOv5 实在特别小,比 YOLOv4 小近 90%。这也太疯狂了!
并且得到YOLOv3作者Joseph Redmon的承认,下面是Darknet原作者的在readme中更新的声明。 ? Darknet原作者pjreddie在readme中承认了YOLOv4 来看看YOLOv4和一些SOTA模型的对比,YOLOv4要比YOLOv3提高了近10个点。 ? FPS vs AP 1. BN、CBN、CmBN示意图 上图表达的是三种不同的BN方式,理解的时候应该从左往右看,BN是对当前mini-batch进行归一化。 modified SAM SAM实际上是之前解读的<CV中的Attention机制>系列中的CBAM, CBAM含有空间注意力机制和通道注意力机制, SAM就是其中的空间注意力机制. ? YOLOv4中Bag of freebies和Bag of Specials两部分总结的确实不错,对研究目标检测有很大的参考价值,涵盖的trick非常广泛。
YOLOv2相比YOLOv1的改进策略 改进: Batch Normalization(批量归一化) mAP提升2.4%。 批归一化有助于解决反向传播过程中的梯度消失和梯度爆炸问题,降低对一些超参数(比如学习率、网络参数的大小范围、激活函数的选择)的敏感性,并且每个batch分别进行归一化的时候,起到了一定的正则化效果(YOLO2 YOLO的卷积层采用32这个值来下采样图片,所以通过选择416*416用作输入尺寸最终能输出一个13*13的Feature Map。 通常是使用416*416的输入图像,如果用较高分辨率的输入图像,比如544*544,则mAP可以达到78.6,有1.8的提升。 感受一下YOLOv4实验的充分性(调参的艺术): ? ? 感受一下性能炸裂的YOLOv4实验结果: ? ? ? ?
PP-YOLO中的每种技术都会提高边际mAP准确度性能 更换骨架 第一种PP YOLO技术是用Resnet50-vd-dcn ConvNet主干替换YOLOv3 Darknet53主干。 IoU损失 YOLO损失函数不能很好地转换为mAP度量,该度量在计算中大量使用了Union上的Intersection。因此,考虑到此结束预测来编辑训练损失函数很有用。此编辑也出现在YOLOv4中。 网络敏度 旧的YOLO模型不能很好地在锚框区域的边界附近进行预测。定义盒子坐标稍有不同是很有用的,以避免此问题。YOLOv4中也存在此技术。 最终的PP-YOLO模型以比YOLOv4更快的速度将COCO的mAP从43.5%提高到45.2% 上面的PP-YOLO贡献参考将YOLOv3模型在COCO对象检测任务上从38.9 mAP提升到44.6 在V100 GPU上对COCO数据集的YOLOv5评估(请注意AP_50列) 值得注意的是,在YOLOv4中使用的许多技术(例如体系结构搜索和数据增强)在PP YOLO中并未使用。
Unified: 统一的架构,提供 end-to-end 的训练和预测。 Real-Time: 实时性,初代论文给出的指标 FPS 45 , mAP 63.4 。 YOLOv4: Optimal Speed and Accuracy of Object Detection ,于今年 4 月公布,采用了很多近些年 CNN 领域优秀的优化技巧。 其平衡了精度与速度,目前在实时目标检测算法中精度是最高的。 加参数 -map 后,上图会显示有红线 mAP。 查看模型 mAP@IoU=50 精度: $ . /darknet detector map /home/cfg/coco.data /home/cfg/yolov4.cfg /home/yolov4/coco2017/backup/yolov4_final.weights
,它在不同应用场景中起重要作用。 通过组合多种trick,所提PP-YOLO可以达成精度(45.2%mAP)与效率(72.9FPS)的更好均衡并取得了优于EfficientDet与YOLOV4的效果。 不同于YOLOv4,PP-YOLO并未尝试不同的骨干网络与数据增广方法,也并未采用NAS技术搜索超参数。 mAP的性能增益; IoU Aware可以得到0.6%mAP的性能增益; Grid Sensitive可以得到0.3%mAP的性能增益; Matrix NMS可以得到0.7%mAP的性能增益; CoordConv 最后,上图给出了所提PP-YOLO与其他方法的性能-推理速度的对比。可以看到:相比YOLOv4,PP-YOLO具有更高的mAP指标,同时具有更快的推理速度。
PicoDet-S只有0.99M参数,mAP值为30.6%,与YOLOX-Nano相比,mAP提高了4.8%,同时移动CPU延迟降低了55%,与NanoDet相比,mAP提高了7.1%。 PicoDet-L仅3.3M参数的mAP值为40.9%,mAP值提高了3.7%,比YOLOv5s快44%。如图1所示,本文模型远远优于轻量级目标检测的最新结果。 在移动端目标检测领域,人们一直致力于实现更准确、更高效的目标检测: 通过YOLOv4的压缩编译协同设计,YOLObile实现了移动端的实时物体检测。 原SimOTA采用CE损失和IoU损失的加权和来计算cost 矩阵。为了使SimOTA中的cost与目标函数保持一致,作者使用Varifocal loss和GIoU loss的加权和作为cost矩阵。 对于回归,用GIoU损失和Distribution Focal Loss。
与高压缩比相比,精度略有降低,为85.8% mAP,仅比YOLOv4-s低2.6%。因此,提出的网络具有很高的潜力部署在嵌入式系统。 2YOLO V4简述 在YOLOv4的主干网络CSPDarknet-53中,CSP将特征卷积一定次数后复制使用与前一层特征cat起来,然后利用DenseNet模块。 在Neck中,输入特征图有3种大小。SPP最大池化后concat技术提高了各种尺寸输入的准确性。此外,它通过自底向上的路径增强技术平滑特征。 3YOLO V4轻量化设计 YOffleNet YOLOv4中使用的主要模块是下图中的CSP DenseNet;此外为了防止初始特征图中的信息丢失的问题,作者还设计了PANet结构,其是通过自下而上的路径增强特征表达的 ShuffleNet模块 改进点 2 YOLOv4网络中使用的SPP+PANet结构简化和减轻模型的大小。现有YOLOv4模型的PANet从主干网络分为3层作为输入的。
在训练期间还添加了马赛克增强,这极大地提高了模型的准确性,因为它学会了在更困难的图像中检测对象(有关详细信息,请参阅第3.3节。YOLOv4 论文的其他改进)。 该代码现在还支持多分辨率训练。 但我们将从mAP(平均平均精度)中真正了解它的准确性。 我们将需要另一个 .data 文件来提供测试图像文件的路径。 我们也可以使用相同的数据文件进行进一步的 mAP 测试。 由于我们现在在磁盘上有训练好的模型,我们可以执行以下命令来计算 0.5 IoU 的 mAP。 . 【6】使用多分辨率图像和固定分辨率图像训练 YOLOv4模型 【7】所有模型的 mAP 对比 下图显示了我们上面执行的所有运行在 0.50 IoU 阈值时的 mAP 比较。 总结 在这篇文章中,我们介绍了很多关于 YOLOv4 模型和 Darknet 框架的内容。我们首先在支持 CUDA 的 Ubuntu 系统上设置 Darknet。
YOLOv4还没有退热,YOLOv5已经发布! 6月9日,Ultralytics公司开源了YOLOv5,离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的! YOLOv5速度比前代更快,在运行Tesla P100的YOLOv5 Colab笔记本中,每个图像的推理时间快至0.007秒,意味着每秒140帧(FPS)! 同时,在研究者对血细胞计数和检测(BCCD)数据集的测试中,经过100个epoch的训练,获得了大约0.895的平均精度(mAP),与EfficientDet和YOLOv4相当。 ? 此外,因为YOLOv5是在PyTorch中实现的,所以它受益于已建立的PyTorch生态系统;YOLOv5还可以轻松地编译为ONNX和CoreML,因此这也使得部署到移动设备的过程更加简单。 值得一提的是,Ultralytics公司的Glenn Jocher是mosaic数据增强方法的创建者,这种方法是改进后的YOLOv4中的重要技术。 ?
在标准的CSPDenseNet中,Part1和Part2是按照通道来进行一个均分操作,但是在YOLOV4中并不是如此分割的。 在YOLOV4中是将特征层经过两个1*1的卷积层,它们的通道数都是原特征层通道数的一半。 在YOLOV4中,b的部分刚好与之相反,从浅层向深层进行连接并提取。 这里需要注意的是,在原始的PAN网络中关于特征层与特征层融合的部分是采用相加的策略,但是在YOLOV4中是采用concat的策略,将两个特征层在深度方向进行拼接。 在YOLOV4中,作者针对512*512的尺寸又重新优化了Anchor。
mAP 50.3%,106.5FPS 的 PP-YOLOv2,1.3M超轻量PP-YOLO Tiny, 让目标检测界再起风波。 自 20 年下半年 YOLOv4、YOLOv5、PP-YOLO、YOLO-Fastest 和 YOLOv4 Tiny 等等轮番轰炸、掀起「YOLO 狂潮」后,时隔半年,超越 YOLOv5的PP-YOLOv2 而如果将骨架网络从 ResNet50 更换为 ResNet101,PP-YOLOv2 的优势则更为显著:mAP 达到 50.3%,速度比同计算量的 YOLOv5x 高出了 15.9%。 (mAP 45.9,72.9FPS)的单阶段目标检测器。 而以上这一系列优化策略对网络的改进效果分别是怎样的呢?通过消融实验得到的图表我们可以清晰的看到,以上 PAN、MISH 和输入尺寸的增大都带来了一些计算量的增加,但 mAP 却得到了显著的提升。 ?
机器之心发布 机器之心编辑部 mAP 50.3%,106.5FPS 的 PP-YOLOv2,1.3M超轻量PPYOLO Tiny, 让目标检测界再起风波。 自 20 年下半年 YOLOv4、YOLOv5、PP-YOLO、YOLO-Fastest 和 YOLOv4 Tiny 等等轮番轰炸、掀起 「YOLO 狂潮」 后,时隔半年,超越 YOLOv5 的 PP-YOLOv2 而如果将骨架网络从 ResNet50 更换为 ResNet101,PP-YOLOv2 的优势则更为显著:mAP 达到 50.3%,速度比同计算量的 YOLOv5x 高出了 15.9%。 (mAP 45.9,72.9FPS)的单阶段目标检测器。 而以上这一系列优化策略对网络的改进效果分别是怎样的呢?通过消融实验得到的图表我们可以清晰的看到,以上 PAN、MISH 和输入尺寸的增大都带来了一些计算量的增加,但 mAP 却得到了显著的提升。 ?
由于影响因素众多,且穷举的成本和复杂度太高,因此完美无缺没有问题的软件系统只存在于理想中。 ,且造成了直接损失和较大的负面影响; 如何理解这里的直接损失和影响呢? 一般有如下几点判断因素: 问题在造成影响前是否被观测到并修复; 问题从发现到修复的持续时长(故障时长); 问题造成了多少的直接损失(专业点叫做资损); 问题对企业品牌形象带来的负面影响和客诉量; 为什么要开展复盘 无论是线上问题还是线上故障,其本质都是证明我们交付的软件系统存在不足。区别在于一个未造成直接损失和影响,另一个造成了业务的直接损失和影响。 陈述问题:这一环节,需要详尽的介绍问题的前因后果以及造成的影响。要注意的是,最好考虑到如果当时做了什么,可以降低或者避免出现故障或者不良影响以及资损。
YOLO 是一种快速紧凑的开源对象检测模型,与其它网络相比,同等尺寸下性能更强,并且具有很不错的稳定性,是第一个可以预测对象的类别和边界框的端对端神经网络。 它比 YOLOv4 小 88%(27 MB vs 244 MB) 它比 YOLOv4 快 180%(140 FPS vs 50 FPS) 它在同一任务上大致与 YOLOv4 一样准确(0.895 mAP vs 0.892 mAP) 其性能是现今最先进的对象检测技术之一,并在推理速度上是目前最强。 内容仅截选部分,在「深度学习缺陷检测实战训练营」中 , 将帮助同学们快速掌握AI领域两大核心模块:检测与分割,并基于真实数据集进行项目实战。 从理论基础到核心原理 集中精力各个击破! 福利较大,限前200名 02 两天你将收获 开放全部代码,课后复用方便高效 对于课程中涉及到的全部代码,我们将免费开放! 你可以用于课后自查、复习巩固,甚至复用于日后的业务,方便高效!
通过快速连接和融合云上或云下自建的各种数据源,提供操作轻量化、过程可视化、能力开放化的数据集成工具
扫码关注腾讯云开发者
领取腾讯云代金券