YoloV8改进策略：基于RevCol，可逆的柱状神经网络的完美迁移，YoloV8的上分利器
YoloV8改进策略：基于RevCol，可逆的柱状神经网络的完美迁移，YoloV8的上分利器
摘要
可逆柱状结构（RevCol）是一种网络结构，它受到GLOM（Global Columnar Memory）的启发。RevCol由N个子网络（或称为列）组成，每个子网络的结构和功能都是相同的。这种结构可以有效地解决信息崩溃的问题，通过在前面的列中添加额外的监督，以保持特征和输入图像之间的互信息。此外，RevCol可以逐渐解耦语义和低级信息，从而提取和利用任务相关信息来进一步提高性能。在实现上，对于中间监督，采用了加权求和的方式将两个损失合并，对于所有变体的RevCol，通过实验确定将监督头添加到特定的列中。
完整代码：
https://blog.csdn.net/m0_47867638/article/details/134658385?spm=1001.2014.3001.5501
在这里插入图片描述
可逆柱状结构在图像处理中的优势主要体现在以下几个方面：
结构灵活性：可逆柱状结构具有灵活的结构，可以适应各种尺寸和形状的任务，而不会像其他网络结构一样受到固定形状的限制。 信息保留：可逆柱状结构可以更好地保留图像的信息，包括高层次的语义信息和低层次的细节信息。这使得网络可以更好地适应各种复杂的任务，比如语义分割、物体检测等。 计算效率：由于可逆柱状结构的独特性，可以在计算过程中更有效地利用硬件资源，从而提高计算效率。此外，这种结构也有助于减少计算量，从而使得训练和推断过程更快。 泛化能力：可逆柱状结构还可以提高网络的泛化能力。这种结构使得网络可以更好地捕捉到图像的本质特征，从而在面对新的任务时能够更好地适应。 参数优化：可逆柱状结构有助于优化网络的参数。由于这种结构的特性，使得网络在训练过程中可以更快地收敛，从而节省训练时间，并且可以得到更优的网络性能。
多级可逆单元在图像分类、目标检测、图像文本标记、语义分割等任务中表现出了优秀的性能。
在图像分类任务中，多级可逆单元能够学习到更丰富的特征表示，从而提高了分类的准确性。通过可逆连接的设计，该单元能够同时捕获高层次和低层次的特征信息，从而在分类时考虑更多的因素。此外，多级可逆单元还可以通过共享参数的方式减少模型的复杂度，提高模型的泛化能力。
在目标检测任务中，多级可逆单元可以结合目标的位置和形状信息，从而更准确地检测出目标物体。由于该单元的可逆性，它可以适应不同的输入尺寸和形状，从而提高了目标检测的鲁棒性。此外，多级可逆单元还可以通过与卷积神经网络（CNN）相结合的方式，进一步提高了目标检测的性能。
在图像文本标记任务中，多级可逆单元可以结合图像和文本信息，从而更准确地识别和提取图像中的文本信息。该单元的可逆性使得它可以适应不同的文本样式和字体变化，从而提高了文本提取的准确性。此外，多级可逆单元还可以通过端到端训练的方式，进一步优化了图像文本标记的性能。
在语义分割任务中，多级可逆单元可以结合图像的全局和局部信息，从而更准确地分割出图像中的不同语义区域。该单元的可逆性使得它可以适应不同的图像内容和场景变化，从而提高了语义分割的准确性。此外，多级可逆单元还可以通过与CNN或其他深度学习模型相结合的方式，进一步提高了语义分割的性能。
YoloV8官方结果
YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 29/29 [
all 230 1412 0.922 0.957 0.986 0.737
c17 230 131 0.973 0.992 0.995 0.825
c5 230 68 0.945 1 0.995 0.836
helicopter 230 43 0.96 0.907 0.951 0.607
c130 230 85 0.984 1 0.995 0.655
f16 230 57 0.955 0.965 0.985 0.669
b2 230 2 0.704 1 0.995 0.722
other 230 86 0.903 0.942 0.963 0.534
b52 230 70 0.96 0.971 0.978 0.831
kc10 230 62 0.999 0.984 0.99 0.847
command 230 40 0.97 1 0.995 0.811
f15 230 123 0.891 1 0.992 0.701
kc135 230 91 0.971 0.989 0.986 0.712
a10 230 27 1 0.555 0.899 0.456
b1 230 20 0.972 1 0.995 0.793
aew 230 25 0.945 1 0.99 0.784
f22 230 17 0.913 1 0.995 0.725
p3 230 105 0.99 1 0.995 0.801
p8 230 1 0.637 1 0.995 0.597
f35 230 32 0.939 0.938 0.978 0.574
f18 230 125 0.985 0.992 0.987 0.817
v22 230 41 0.983 1 0.995 0.69
su-27 230 31 0.925 1 0.995 0.859
il-38 230 27 0.972 1 0.995 0.811
tu-134 230 1 0.663 1 0.995 0.895
su-33 230 2 1 0.611 0.995 0.796
an-70 230 2 0.766 1 0.995 0.73
tu-22 230 98 0.984 1 0.995 0.831
Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image
测试结果
revcol_tiny模型的测试结果
YOLOv8l summary: 573 layers, 54782744 parameters, 0 gradients, 153.0 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 15/15 [00:02<00:00, 5.01it/s]
all 230 1412 0.97 0.966 0.99 0.761
c17 230 131 0.991 0.992 0.995 0.846
c5 230 68 0.965 0.985 0.994 0.834
helicopter 230 43 0.95 1 0.983 0.648
c130 230 85 0.993 0.988 0.995 0.678
f16 230 57 1 0.919 0.983 0.666
b2 230 2 0.946 1 0.995 0.824
other 230 86 1 0.942 0.979 0.568
b52 230 70 0.877 0.986 0.963 0.828
kc10 230 62 1 0.863 0.989 0.85
command 230 40 0.967 1 0.995 0.845
f15 230 123 0.992 0.986 0.995 0.696
kc135 230 91 1 0.917 0.985 0.669
a10 230 27 1 0.752 0.976 0.461
b1 230 20 1 0.975 0.995 0.728
aew 230 25 0.957 0.96 0.985 0.811
f22 230 17 0.984 1 0.995 0.817
p3 230 105 1 0.964 0.99 0.808
p8 230 1 0.866 1 0.995 0.697
f35 230 32 1 0.946 0.995 0.614
f18 230 125 0.992 0.984 0.989 0.825
v22 230 41 1 0.927 0.994 0.679
su-27 230 31 0.99 1 0.995 0.867
il-38 230 27 0.895 1 0.986 0.853
tu-134 230 1 0.965 1 0.995 0.895
su-33 230 2 0.932 1 0.995 0.796
an-70 230 2 0.918 1 0.995 0.895
tu-22 230 98 1 0.993 0.995 0.854
Speed: 0.2ms preprocess, 6.1ms inference, 0.0ms loss, 1.2ms postprocess per image
revcol_small模型的测试结果
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 15/15 [00:03<00:00, 4.36it/s]
all 230 1412 0.952 0.974 0.989 0.734
c17 230 131 0.992 0.989 0.995 0.827
c5 230 68 0.958 0.956 0.991 0.833
helicopter 230 43 0.932 0.977 0.979 0.582
c130 230 85 0.985 1 0.995 0.647
f16 230 57 0.977 0.947 0.966 0.635
b2 230 2 0.884 1 0.995 0.723
other 230 86 0.908 0.953 0.968 0.522
b52 230 70 0.979 0.971 0.987 0.824
kc10 230 62 1 0.977 0.988 0.824
command 230 40 0.988 1 0.995 0.816
f15 230 123 0.954 0.976 0.993 0.681
kc135 230 91 0.968 0.989 0.989 0.691
a10 230 27 1 0.593 0.956 0.425
b1 230 20 0.981 1 0.995 0.732
aew 230 25 0.944 1 0.981 0.771
f22 230 17 0.957 1 0.995 0.763
p3 230 105 1 0.988 0.995 0.799
p8 230 1 0.766 1 0.995 0.697
f35 230 32 0.986 1 0.995 0.515
f18 230 125 0.973 0.992 0.989 0.799
v22 230 41 0.983 1 0.995 0.697
su-27 230 31 0.986 1 0.995 0.862
il-38 230 27 0.978 1 0.995 0.833
tu-134 230 1 0.785 1 0.995 0.895
su-33 230 2 0.972 1 0.995 0.752
an-70 230 2 0.867 1 0.995 0.847
tu-22 230 98 0.994 1 0.995 0.814
腾讯云开发者
