前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Mamba精神!只能说ICLR输麻了其实更新频率还可以再快一点点的

Mamba精神!只能说ICLR输麻了其实更新频率还可以再快一点点的

作者头像
NewBeeNLP
发布2024-03-06 15:21:46
3510
发布2024-03-06 15:21:46
举报
文章被收录于专栏:NewBeeNLPNewBeeNLP

Github链接:https://github.com/yyyujintang/Awesome-Mamba-Papers/blob/main/README.md

Mamba是一种基于选择性状态空间的线性时间序列建模方法,可以有效地处理长序列数据。这个仓库包含了Mamba及其变体在不同领域的应用,如图像分割、文本摘要、点云分析等。这个仓库还提供了一些其他有用的资源,如Mamba的论文列表和状态空间模型的相关资料。这个仓库由yyyujintang和radarFudan两位贡献者创建和维护。

下面咱们一块看看在短短几个月就能出来这么多研究,看看大家的手速是有多快!!!

  1. Mamba: Linear-Time Sequence Modeling with Selective State Spaces:这篇论文提出了一种基于选择性状态空间的序列建模方法,称为Mamba。Mamba可以在线性时间内处理任意长度的序列,并且可以捕捉长距离的依赖关系。Mamba的关键技术是使用一个稀疏的状态转移矩阵,来选择性地更新和传递状态信息。Mamba在自然语言处理和计算机视觉的多个任务上取得了优异的性能。
  2. MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts:这篇论文将混合专家模型(MoE)和选择性状态空间模型(Mamba)结合起来,提出了一种高效的序列建模方法,称为MoE-Mamba。MoE-Mamba利用MoE的多头注意力机制,来增强Mamba的状态选择能力,从而提高模型的表达能力和泛化能力。MoE-Mamba在多个序列建模任务上,超越了Mamba和其他基准模型。
  3. U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation:这篇论文针对生物医学图像分割任务,提出了一种基于Mamba的U型网络,称为U-Mamba。U-Mamba利用Mamba的选择性状态空间模型,来增强图像的长距离依赖关系,从而提高分割的精度和鲁棒性。U-Mamba在多个生物医学图像分割数据集上,显著优于其他U型网络。
  4. Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model:这篇论文提出了一种基于双向状态空间模型的视觉表示学习方法,称为Vision Mamba。Vision Mamba使用两个Mamba模型,分别从左到右和从右到左处理图像序列,从而实现双向的状态传递和信息融合。Vision Mamba在图像分类、目标检测和语义分割等任务上,达到了与Transformer相当或更好的效果,同时具有更低的计算复杂度和内存消耗。
  5. VMamba: Visual State Space Model:这篇论文提出了一种基于状态空间模型的视觉模型,称为VMamba。VMamba使用一个卷积神经网络(CNN)作为编码器,将图像转换为一维的序列,然后使用一个Mamba模型作为解码器,将序列转换为所需的输出。VMamba可以处理不同的视觉任务,如图像分类、图像生成、图像修复等,并且具有较高的效率和灵活性。
  6. SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation:这篇论文针对三维医学图像分割任务,提出了一种基于Mamba的分割模型,称为SegMamba。SegMamba将三维图像切分为一维的序列,然后使用一个Mamba模型来对序列进行分割。SegMamba可以有效地捕捉三维图像的长距离依赖关系,从而提高分割的质量和一致性。SegMamba在多个三维医学图像分割数据集上,表现出了优越的性能。
  7. MambaByte: Token-free Selective State Space Model:这篇论文提出了一种无需分词的选择性状态空间模型,称为MambaByte。MambaByte直接使用字节作为序列的基本单元,从而避免了分词的开销和错误。MambaByte使用一个字节级的Mamba模型,来对序列进行建模和生成。MambaByte在文本生成、代码生成和图像生成等任务上,展示了强大的能力和泛化性。
  8. Vivim: a Video Vision Mamba for Medical Video Object Segmentation:这篇论文针对医学视频对象分割任务,提出了一种基于Mamba的视频视觉模型,称为Vivim。Vivim将视频帧转换为一维的序列,然后使用一个Mamba模型来对序列进行分割。Vivim可以有效地处理视频中的动态变化和遮挡问题,从而提高分割的准确度和鲁棒性。Vivim在多个医学视频对象分割数据集上,取得了最佳的结果。
  9. MambaMorph: a Mamba-based Backbone with Contrastive Feature Learning for Deformable MR-CT Registration:这篇论文针对可变形的磁共振-计算机断层扫描(MR-CT)配准任务,提出了一种基于Mamba的特征学习方法,称为MambaMorph。MambaMorph使用一个Mamba模型作为特征提取器,将MR和CT图像转换为一维的序列,然后使用一个对比学习的损失函数,来优化特征的相似性和对齐性。MambaMorph可以有效地处理MR和CT图像之间的强度差异和形变变化,从而提高配准的精度和效率。
  10. LOCOST: State-Space Models for Long Document Abstractive Summarization:这篇论文针对长文档的摘要生成任务,提出了一种基于状态空间模型的方法,称为LOCOST。LOCOST使用一个Mamba模型作为编码器,将长文档转换为一维的序列,然后使用一个Transformer模型作为解码器,将序列转换为摘要。LOCOST可以有效地处理长文档中的信息冗余和结构复杂性,从而提高摘要的简洁性和连贯性。LOCOST在多个长文档摘要生成数据集上,超越了其他方法。
  11. Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective State Spaces:这篇论文提出了一种基于选择性状态空间的图序列建模方法,称为Graph-Mamba。Graph-Mamba将图结构转换为一维的序列,然后使用一个Mamba模型来对序列进行建模。Graph-Mamba可以有效地处理图序列中的长距离依赖关系和动态变化,从而提高模型的表达能力和泛化能力。Graph-Mamba在多个图序列建模任务上,取得了优异的性能。
  12. VM-UNet: Vision Mamba UNet for Medical Image Segmentation:这篇论文针对医学图像分割任务,提出了一种基于Mamba的U型网络,称为VM-UNet。VM-UNet使用一个Vision Mamba模型作为编码器,将图像转换为一维的序列,然后使用一个U型网络作为解码器,将序列转换为分割结果。VM-UNet可以有效地处理图像中的长距离依赖关系和细节信息,从而提高分割的精度和鲁棒性。VM-UNet在多个医学图像分割数据集上,显著优于其他U型网络。
  13. Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining: 这篇论文介绍了一种名为Swin-UMamba的新型Mamba-based模型,专门为医学图像分割任务设计,利用ImageNet-based预训练的优势。实验结果揭示了ImageNet-based训练在提高Mamba-based模型性能方面的重要作用。
  14. nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model: 这篇论文介绍了nnMamba,这是一种新的架构,它整合了CNNs和State Space Sequence Models (SSMs)的优势。nnMamba将SSMs添加到卷积残差块中以提取局部特征并建模复杂的依赖关系。
  15. U-shaped Vision Mamba for Single Image Dehazing[^10^]¹¹¹²¹³: 为了解决这个挑战,我们引入了U-shaped Vision Mamba (UVM-Net),这是一个高效的单图像去雾网络。
  16. Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks: 这项研究评估了SSMs(主要是Mamba)在各种任务中的ICL性能,并与Transformer模型进行了比较。
  17. Mamba-ND: Selective State Space Modeling for Multi-Dimensional Data: 这篇论文介绍了Mamba-ND,这是一种将Mamba架构扩展到任意多维数据的通用设计。
  18. FD-Vision Mamba for Endoscopic Exposure Correction: 为了解决这个问题,设计了一个基于频域的网络,称为FD-Vision Mamba (FDVM-Net),通过重构内窥镜图像的频域来实现高质量的图像曝光校正。
  19. Semi-Mamba-UNet: Pixel-Level Contrastive Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation: 这篇论文介绍了Semi-Mamba-UNet,它将视觉mamba-based UNet架构与传统的UNet集成到一个半监督学习(SSL)框架中。
  20. P-Mamba: Marrying Perona Malik Diffusion with Mamba for Efficient Pediatric Echocardiographic Left Ventricular Segmentation: 为了解决这些问题,引入了P-Mamba,用于高效的儿科超声心动图左心室分割。
  21. Graph Mamba: Towards Learning on Graphs with State Space Models: 一组研究人员引入了Graph-Mamba,这是一种创新的模型,将选择性SSM集成到GraphGPS框架中。
  22. Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling: 在这项工作中,提出了分层状态空间模型(HiSS),这是一种连续序列预测的新技术。
  23. PointMamba: A Simple State Space Model for Point Cloud Analysis: 这篇论文介绍了PointMamba,这是一种简单的状态空间模型,用于点云分析。
  24. Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation³³: 这篇论文介绍了Weak-Mamba-UNet,这是一种用于基于涂鸦的医学图像分割的视觉Mamba模型。
  25. Pan-Mamba: Effective pan-sharpening with State Space Model: 这篇论文介绍了Pan-Mamba,这是一种有效的全景锐化状态空间模型。
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2024-03-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 NewBeeNLP 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档