大规模图像-文本对的视觉语言预训练（VLP）在跨模态表征的学习方面取得了快速的进展。现有的预训练方法要么直接将特征级的图像表示和文本表示连接起来作为single-stream Transformer的输入，要么使用two-stream Transformer将图像-文本表示在高级语义空间对齐。
本文分享论文『Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text』，由谷歌& UCLA 联合提出统一的基础模型，是一个既能做 CV 任务，也能做 NLP 任务的 Transformer 模型！
目前的主流算法也可以分成单阶段和两阶段两大类两阶段的方法都是基于目标检测和实例分割中常用的算法Faster R-CNN 和Mask R-CNN。Li 等人(2017a)提出了第1个基于深度学习的端到端自然场景文本检测和识别算法，该方法基于Faster R-CNN 进行检测，将通过RoI-Pooling 提取的共享特征送入基于注意力机制(Attention)的识别器进行文本识别，但该方法只能检测识别水平方向的文本。Lyu 等人(2018b) 基于Mask R-CNN 提出了MaskTextSpotter，该方法在RoI-Align 之后额外增加了一个单字实例分割的分支，对文本的识别也是依赖于该分支的单字符分类。
background-attachent 可以声明图像相对于可视区是固定的,不会受滚动条的影响
然后本指南回过头来解释Flutter的布局方法，并说明如何在屏幕上放置一个小部件。 在讨论如何水平和垂直放置小部件之后，会介绍一些最常见的布局小部件。
现有的旋转目标检测器大多继承自水平检测范式，因为后者已经发展成为一个成熟的领域。 然而，由于当前回归损失设计的局限性，尤其是对于大纵横比的目标，这些检测器难以在高精度检测中突出表现。 本文从水平检测是旋转物体检测的一种特殊情况出发，从旋转与水平检测的关系出发，将旋转回归损失的设计从归纳范式转变为演绎方法。 在动态联合优化过程中，估计的参数会以自适应和协同的方式相互影响，因此如何调节旋转回归损失中的耦合参数是一个关键的挑战。 具体来说，我们首先将旋转的包围框转换为二维高斯分布，然后计算高斯分布之间的Kullback-Leibler Divergence (KLD)作为回归损失。 通过对各参数梯度的分析，我们发现KLD(及其导数)可以根据对象的特性动态调整参数梯度。 它将根据长宽比调整角度参数的重要性(梯度权重)。 这种机制对于高精度检测是至关重要的，因为对于大纵横比物体，轻微的角度误差会导致严重的精度下降。 更重要的是，我们证明了KLD是尺度不变的。 我们进一步证明了KLD损失可以退化为流行的 损失用于水平检测。
文 / Han Zhang, Research Scientist and Jing Yu Koh, Software Engineer, Google Research
HTML5+CSS3+JavaScript从入门到精通 作者：王征，李晓波 第五章 HTML网页中的canvas绘图 案例 05-01 canvas元素 <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <title>canvas元素</title> </head> <body> canvas元素 <hr /
HTML（英文Hyper Text Markup Language的缩写）中文译为“超文本标签语言”，主要是通过HTML标签对网页中的文本、图片、声音等内容进行描述。
本文整理了3月10日arXiv更新的 6 篇CVPR2022的论文，简单介绍了FaceBook最新的工作《FlexIT: Towards Flexible Semantic Image Translation》
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
袁秋龙，携程度假大数据AI研发团队实习生，专注于计算机视觉的研究和应用。在实习期间致力于度假图像智能化工作，OCR问题为实习期主要做的研究。
选自arXiv作者：Jiaxi Gu等 机器之心编译编辑：Juniper 华为诺亚方舟实验室的研究者提出了一个大规模的中文的跨模态数据库 ——「悟空」，并在此基础上对不同的多模态预训练模型进行基准测试，有助于中文的视觉语言预训练算法开发和发展。 在大数据上预训练大规模模型，对下游任务进行微调，已经成为人工智能系统的新兴范式。BERT 和 GPT 等模型在 NLP 社区中越来越受欢迎，因为它们对广泛的下游任务甚至零样本学习任务具有很高的可迁移性，从而产生了 SOTA 性能。最近的工作，如 CLIP、ALIGN
最近的研究表明，使用对比图像文本对进行大规模的预训练可能是从自然语言监督中学习高质量视觉表示的有前途的方法。得益于更广泛的监督来源，这一新范式在下游分类任务和可迁移性方面展现出了不错的结果。
最近，堪称改变游戏规则的视觉语言模型（VLM）PaLI-3问世，引得大量科研人员关注。
近日，Meta 公司宣布开发出一款名为 CM3Leon（发音类似「chameleon」）的文生图模型，该模型能够独力解决文本到图像和图像到文本的双向生成任务。
macOS具有许多如此小巧而有用的功能，在您偶然发现它们或有人将它们指出给您之前，很容易错过它们。
当地时间 7 月 6 日，OpenAI 在官网宣布，GPT-4 API 全面开放使用。现所有付费 API 用户都可直接访问 8K 上下文的 GPT-4，无需任何等待。该公司计划在本月底之前向新开发人员开放访问权限，然后“根据计算可用性”开始提高可用性限制。这意味着全球开发者都能使用 GPT-4 大型语言模型，来增强自己的应用程序或开发全新的生成式 AI 应用。
所以我们知道，我们可以通过vertical-align 控制图片和文字的垂直关系了。 默认的图片会和文字基线对齐。
本教程将介绍如何使用 OpenCV OCR。我们将使用 OpenCV、Python 和 Tesseract 执行文本检测和文本识别。
最近已经入职新公司了，开启 965 的生活，也开始做新的项目了。最近在适应新环境，不过我依然会努力分享有趣的前沿成果哈。过年的时候，收到小伙伴的私信，说多分享一些实战的内容，以后我也会多多总结一些常见的坑，和大家一起学习成长。
机器之心专栏 作者：蚂蚁集团-大安全-机器智能 来自蚂蚁集团 - 大安全 - 机器智能和上海交通大学的研究者提出了一种多模态文档理解新模型 XYLayoutLM。 近年来，多模态文档理解在各类场景得到了广泛的应用。它要求我们结合图像，文本和布局信息对扫描件或者 pdf 文件进行理解。在常见的表单理解的任务中，多模态数据如图 1 所示。 图 1：多模态文档理解数据示例（来自 XFUN 数据集） 除此之外，多模态的模型还被应用于文档自动处理，文本关系提取和网页分类定性等等一系列应用。然而，需要强调的是，这个问
作者：Fan Bao, Shen Nie, Kaiwen Xue, Chongxuan Li, Shi Pu, Yaole Wang
文章作者：Tyan 博客：noahsnail.com | CSDN | 简书
本文分享论文『VLMo: Unifified Vision-Language Pre-Training with Mixture-of-Modality-Experts』，由微软提出《VLMo》，用“模态混合专家”进行统一的视觉语言预训练！即将开源！
这篇论文探讨了一个当前在图像合成领域中的核心问题：如何在保持生成图像质量的同时，减少计算资源的消耗。目前的先进扩散模型，如Stable Diffusion和DALL·E 2，虽然能够生成接近真实的高质量图像，但它们对计算资源的需求非常高，这在一定程度上限制了它们的应用范围和可达性。例如，Stable Diffusion 1.4版本的训练就耗费了150,000 GPU小时。
无监督的大规模视觉语言预训练在各种下游任务上显示出不错的进步。现有方法通常通过每个模态的全局特征的相似性来模拟跨模态交互，或者通过视觉和文本token的交叉/自注意力来模拟细粒度交互。然而，交叉/自注意力在训练和推理方面的效率较低。
本文分享 ACL 2021 论文『UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning』，由百度提出统一模态的预训练框架《UNIMO》、用不匹配的图文对也能进行多模态预训练？
随着人工智能的热度上升，图像识别这一细分领域也渐渐被人们所关注。在很多公司的业务中，有很多需要对图片进行识别的需求。为了帮助业务实现对这些图片、文档的识别和结构化，业界进行了一系列的实践和探索，最终确定了一些可行的方法。实践过程中，可能遇到过一系列问题和难点。本次直播分享，我们将结合目前的业务需求，说说爱奇艺在探索中遇到的痛点和难点以及识别技术中的一些细节。
本文分享论文『CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models』，由清华刘知远团队提出跨模态预训练 Prompt Tuning（CPT）刷爆少样本REC任务！
近年来，在海量文本语料库上进行预训练的大语言模型已趋于成熟，表现出在理解、推理和生成各种开放式文本任务上的卓越能力。最近的研究聚焦于进一步利用大语言模型的强大通用性来提升视觉理解和视觉生成任务的效果，统称为多模态大语言模型。先前的工作通过将预先训练的图像编码器(例如CLIP-ViT)的视觉特征与大语言模型的输入嵌入空间对齐来执行开放式视觉QA。GILL通过将其输出嵌入空间与预训练的稳定扩散模型对齐，从而赋予大语言模型图像生成能力。虽然这些研究促进了技术进步，但在新兴能力方面，多模态大语言模型尚未取得像大预言模型那样的显著成功。
2023.3.14 GPT-4 模型发布 创建了GPT-4，这是OpenAI在扩大深度学习方面的最新里程碑。GPT-4是一个大型多模态模型(接受图像和文本输入，输出文本输出)，虽然在许多现实场景中不如人类，但在各种专业和学术基准上表现出与人类相当的性能。
基于深度学习的机器学习方法已经在语音、文本、图像等单一模态领域取得了巨大的成功，而同时涉及到多种输入模态的多模态机器学习研究有巨大的应用前景和广泛的研究价值，成为了近年来的研究热点。
光学字符识别(OCR)，即将手写或印刷文本的图像转换成机器可读的文本，这是一门可以追溯到70年代初的科学，但长期以来，算法一直难以识别出与水平面不平行的字符，为此，亚马逊的研究人员开发了一种“文本框”——是自然图像中“弯曲”文字的探测器。
OCR(Optical Character Recognition,光学字符识别)是指对图像进行分析识别处理，获取文字和版面信息的过程，是典型的计算机视觉任务，通常由文本检测和文本识别两个子任务构成。
摘要：本篇主要介绍了百度在多模态学习领域的成果UNIMO模型。首先是背景介绍，针对当前主流多模态学习模型存在训练语料少和模态缺失导致模型效果下降的问题，百度提出了UNIMO统一学习模型；然后重点介绍了UNIMO模型，主要包括UNIMO如何解决训练数据稀少和模态缺失问题、UNIMO模型输入、跨模态对比学习的UNIMO、UNIMO中视觉学习和文本学习以及UNIMO模型效果；最后介绍了UNIMO开源项目工程。对多模态学习感兴趣并且希望应用到项目实践的小伙伴可能有所帮助。
作者：Francesco Ballerini, Pierluigi Zama Ramirez, Roberto Mirabella, Samuele Salti, Luigi Di Stefano
OpenAI 在 2021 年提出了 CLIP（Contrastive Language–Image Pretraining）算法，这是一个先进的机器学习模型，旨在理解和解释图像和文本之间的关系。CLIP 的核心思想是通过大规模的图像和文本对进行训练，学习图像内容与自然语言描述之间的对应关系。这种方法使得模型能够在没有特定任务训练的情况下，对广泛的视觉概念进行理解和分类。
本篇文章介绍 ACM MM 2023 论文Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation，3D和图文模态的碰撞，多视角多模态的统一表征。
CLIP这类双塔预训练图文模型在图文检索等多模态任务中取得非常好的效果，但是在开放式的VQA任务、看图说话任务等这类需要生成的任务上效果较差或者无法应用。主要原因在于CLIP中的text encoder比较弱，CLIP中的text encoder的优化目标仅有一个句子整体的判别式损失函数，而BERT、GPT模型采用token粒度的生成任务。这导致CLIP中的text encoder无法用于生成任务。
1.CodeFusion: A Pre-trained Diffusion Model for Code Generation(EMNLP 2023)
CLIP的英文全称是Contrastive Language-Image Pre-training，即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。
VideoCrafter1: Open Diffusion Models for High-Quality Video Generation
本篇文章分享论文『PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model Pretraining』，由腾讯&上交&浙大（沈春华）提出PyramidCLIP，进行层次内语义对齐和跨层次关系对齐，ImageNet上Zero-Shot效果优于CLIP！
本文将主要介绍数平精准推荐团队的文本检测技术。
领取专属 10元无门槛券
手把手带您无忧上云
