首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

一个基于序列的弱监督视觉信息抽取学习框架

视觉信息提取(VIE)近年来受到了越来越多的关注。现有的方法通常首先将光学字符识别(OCR)结果组织成纯文本,然后利用标记级实体注释作为监督来训练序列标记模型。但是,它花费大量的注释成本,可能导致标签混淆,OCR错误也会显著影响最终性能。在本文中,作者提出了一个统一的弱监督学习框架,称为TCPN(标签、复制或预测网络),它引入了1)一种有效的编码器,可以同时对二维OCR结果中的语义和布局信息进行建模;2)仅利用关键信息序列作为监督的弱监督训练策略;和3)一个灵活和可转换的解码器,其中包含两种推理模式:一种(复制或预测模式)是通过复制输入或预测一个标记来输出不同类别的关键信息序列,另一种(标记模式)是直接标记输入序列。本方法在几个公共基准上显示了最新的性能,充分证明了其有效性。

03

论文解读 LLaMA-Adapter V2 多模态领域又一佳作

在本文中,我们提出了LLaMA-Adapter V2,一种参数高效的视觉指令模型。具体而言,我们首先通过解锁更多可学习参数(例如,norm、偏置和比例),增强LLaMA Adapter,这些参数在整个LLaMA模型中分布指令跟踪能力。其次,我们提出了一种早期融合策略,只将视觉token输入到早期的LLM层,有助于更好地融合视觉知识。第三,通过优化可学习参数的不相交组,引入了图像-文本对和指令跟踪数据的联合训练范式。这种策略有效地缓解了图像-文本对齐和指令跟踪这两个任务之间的干扰,并通过小规模的图像-文本和指令数据集实现了强大的多模态推理。在推理过程中,我们将额外的专家模型(例如,字幕,OCR系统)集成到LLaMA-Adapter中,以在不增加训练成本的情况下进一步提高其图像理解能力。与原始的LLaMA-Adapter相比,LLaMA-Adapter V2只需在LLaMA上引入14M参数,就可以执行开放式多模态指令。新设计的框架还展示出更强的基于语言的指令跟踪能力,甚至在聊天互动中表现出色。

03
领券