首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    清华 & 阿里 开源 ConvLLaVA | 替代 Vision Transformer,解决图像处理中 Token 过多问题!

    大型多模态模型近年来取得了显著进展,在包括图像和视频理解、数字代理开发[53]和机器人技术[24]在内的多个领域表现出卓越性能。要理解和处理广泛任务和复杂场景的必要性凸显了视觉编码器的重要性,而视觉编码器主要是指Vision Transformer。然而,ViT的二次空间复杂性和过多的视觉标记输出限制了其在多样和高分辨率任务中的应用。过多的视觉标记导致大型语言模型的计算负担大幅增加,远远超过了视觉编码器中二次空间复杂度引起的计算成本。这种视觉标记的冗余不仅牺牲了效率,还阻碍了视觉信息的有效提取[31;11]。尽管提出了一系列方法(表1;[31;27;49])来修正ViT的二次空间复杂度,但它们未能解决视觉标记冗余的关键问题[5;28]。

    01

    EfficientNet解析:卷积神经网络模型规模化的反思

    自从Alexnet赢得2012年的ImageNet竞赛以来,CNNs(卷积神经网络的缩写)已经成为深度学习中各种任务的事实算法,尤其是计算机视觉方面。从2012年至今,研究人员一直在试验并试图提出越来越好的体系结构,以提高模型在不同任务上的准确性。近期,谷歌提出了一项新型模型缩放方法:利用复合系数统一缩放模型的所有维度,该方法极大地提升了模型的准确率和效率。谷歌研究人员基于该模型缩放方法,提出了一种新型 CNN 网络——EfficientNet,该网络具备极高的参数效率和速度。今天,我们将深入研究最新的研究论文efficient entnet,它不仅关注提高模型的准确性,而且还关注模型的效率。

    03
    领券