前言 在前面一文使用交叉点观察器延迟加载图像以提高性能中,已经知晓了使用该方式可以提高页面的访问速度,那在此基础上,我们还可以做得更好?,答案显而易见,如果你爬梯子访问过一些国外的图片类的网站,国内若
今天将分享低质量超声图像生成高质量超声图像的CycleGAN完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
GitHub代码库：https://github.com/AILab-CVC/VideoCrafter
在现实生活中，许多因素可能会影响人脸识别系统的识别性能，例如大姿势，不良光照，低分辨率，模糊和噪声等。为了应对这些挑战，之前的人脸识别方法通常先把低质量的人脸图像恢复成高质量人脸图像，然后进行人脸识别。然而，这些方法大多是阶段性的，并不是解决人脸识别的最优方案。
今天将分享低质量超声图像生成高质量超声图像的完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
数据存量的增速远低于大模型训练数据集规模的增速。 作者 | 李梅 编辑 | 陈彩娴 语言模型的缩放定律（Scaling law）表明，其规模大小取决于可用数据的数量，所以在过去几年，大约有一半的语言模型是通过扩大数据量来改进性能的。 当前，在参数量上的角逐似乎已进入冷静期，然而，当许多人还在讨论模型要不要继续做大的时候，模型能不能做大的问题已经出现了。 最近，一项来自 Epoch AI Research 团队的研究向我们抛出了一个残酷的事实：模型还要继续做大，数据却不够用了。 论文地址：https://a
大数据文摘转载自AI科技评论 作者：李梅 编辑：陈彩娴 语言模型的缩放定律（Scaling law）表明，其规模大小取决于可用数据的数量，所以在过去几年，大约有一半的语言模型是通过扩大数据量来改进性能的。 当前，在参数量上的角逐似乎已进入冷静期，然而，当许多人还在讨论模型要不要继续做大的时候，模型能不能做大的问题已经出现了。 最近，一项来自 Epoch AI Research 团队的研究向我们抛出了一个残酷的事实：模型还要继续做大，数据却不够用了。 论文地址： https://arxiv.org/pdf/
照相是一项很棒的技术。它让我们能够保存自己的记忆，当看到照片中的景色时，我们可以重新体验它们。
在挑选手机时，手机摄像头往往是我们考虑的重要因素之一，但目前很多手机拍出来的照片效果不尽如人意。如何用深度学习的方法美化照片？George Seif 发表了一篇文章，是关于如何自动增强低质量相机拍摄的照片，大家快来实战吧~
SVG 和 Canvas 都是可以在 Web 浏览器中绘制图形的技术。 众所周知， icon 通常使用 svg（如 iconfont），而交互式游戏采用 Canvas。二者具体的区别是什么？该如何选择？
这篇论文的研究背景是图像生成领域中存在的一个难点 - 如何从低质量的图像中恢复高质量的细节信息。这对很多下游应用如监控视频分析等都是非常重要的。现有的图像生成方法通常只关注单一的子任务，比如一个方法仅仅做去噪，另一个方法仅仅做超分辨率。但是实际中低质量的图像往往同时存在多种缺陷，比如既存在噪声，又存在模糊，分辨率也较低。所以仅仅做一种类型的生成是不够的，生成效果会受限。例如，一个只做去噪而不做超分的方法，可以去掉噪声，但是图片分辨率仍然很低，细节无法恢复。反过来，一个只做超分而不去噪的方法，可能会在增强分辨率的同时也放大了噪声，产生新的伪影。另外，现有方法在模型训练过程中，没有很好的约束和反馈来评估生成图像的质量好坏。也就是说，算法并不知道哪些部分的生成效果好，哪些部分效果差，缺乏对整体效果的判断。这就导致了细节品质无法得到很好的保证。所以说，现有单一任务的图像生成方法，很难处理图像中多种类型的缺陷;而且也缺乏对生成质量的约束，难以恢复图像细节。这是现有技术面临的问题与挑战。
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI AI胃口太大，人类的语料数据已经不够吃了。 来自Epoch团队的一篇新论文表明，AI不出5年就会把所有高质量语料用光。 要知道，这可是把人类语言数据增长率考虑在内预测出的结果，换而言之，这几年人类新写的论文、新编的代码，哪怕全都喂给AI也不够。 照这么发展下去，依赖高质量数据提升水平的语言大模型，很快就要迎来瓶颈。 已经有网友坐不住了： 这太荒谬了。人类无需阅读互联网所有内容，就能高效训练自己。 我们需要更好的模型，而不是更多的数据。 还有网友调侃，
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
近年来，随着深度学习的发展和大规模数据集的出现，深度学习在很多领域也取得了进展，但其中「人脸复原」（Face Restoration）任务仍然缺乏系统性的综述。
下面要介绍的论文始发于ICCV2019，题为「SNIDER: Single Noisy Image Denoising and Rectification for Improving License Plate Recognition」，axriv地址：https://arxiv.org/pdf/1910.03876 。
真实世界的人脸复原是一个盲问题，即我们不清楚降质过程, 在实际应用中，同时也面临着各种各样降质过程的挑战。对于人脸这个特定的任务, 之前的工作往往会探索人脸特定的先验, 并且取得了较好的效果。常见的人脸先验有两类：
作者 | BBuf 单位 | 北京鼎汉技术有限公司 算法工程师(CV) 编辑 | 唐里
根据给定输入创建 3D 内容（例如，根据文本提示、图像或 3D 形状）在计算机视觉和图形领域具有重要应用。然而这个问题是具有挑战性的，现实中通常需要专业艺术家（Technical Artist）耗费大量的时间成本去创作 3D 内容。同时，许多网上的三维模型库中的资源通常是没有任何材质的裸露三维模型，要想将他们应用到现阶段的渲染引擎中，需要 Technical Artist 为它们创作高质量的材质，灯光和法向贴图。因此，如果有办法可以实现自动化、多样化和逼真的三维模型资产生成，将是很有前景的。
盲人脸修复（blind face restoration）是从低质量的人脸中恢复出高质量人脸的过程。这些质量较低的肖像图可能由各种原因导致退化，如低分辨率，噪音，模糊或是被压缩。
Generate, Segment and Refine: Towards Generic Manipulation Segmentation 论文摘要：
图像质量是一个属性的组合，表明一个图像如何如实地捕获原始场景。影响图像质量的因素包括亮度、对比度、锐度、噪声、色彩一致性、分辨率、色调再现等。
机器之心发布 机器之心编辑部 人脸复原 (Face Restoration) 是指从低质量的人脸中复原得到高清的人脸。真实世界中的人脸复原是一个很有挑战的任务，因为降质 (degradation) 过程复杂且不尽相同。来自腾讯 PCG 应用研究中心 (ARC) 的研究者们提出了利用预先训练好的人脸生成模型提供的先验，来指导人脸复原的任务。 真实世界的人脸复原是一个盲问题，即我们不清楚降质过程, 在实际应用中，同时也面临着各种各样降质过程的挑战。对于人脸这个特定的任务, 之前的工作往往会探索人脸特定的先验,
我们在 ESRGAN 的基础上使用纯合成的数据来进行训练，以使其能被应用于实际的图片修复的场景（顾名思义：Real-ESRGAN）。
选自arXiv 机器之心编译 参与：路雪、黄小天 鉴于目前注意力机制方法在场景文本识别中表现欠佳，近日，海康威视、复旦大学与上海交通大学等在 arXiv 上联合发表了一篇题为《Focusing Attention: Towards Accurate Text Recognition in Natural Images》的论文，其中提出了一种称为注意力聚焦网络（FAN）的新方法，可有效对齐注意力与图像中的目标区域，调整偏移注意力，成功解决了注意力漂移问题，从而显著提升场景文本识别精确度。在不同基准（包括 II
基于深度学习的计算机视觉通常需要数据。许多研究人员试图用合成数据来增强数据集，以提高模型的稳健性。然而，增加流行的行人数据集，如加州理工学院和城市人，可能极具挑战性，因为真实的行人通常质量较低。由于遮挡、模糊和低分辨率等因素，现有的增强方法非常困难，这些方法通常使用3D引擎或生成对抗性网络（GAN）合成数据，以生成逼真的行人。与此不同的是，为了访问看起来更自然的行人，我们建议通过将同一数据集中的真实行人转换为不同的形状来增强行人检测数据集。因此，我们提出了基于形状变换的数据集增强（STDA）框架。 所提出的框架由两个后续模块组成，即形状引导变形和环境适应。在第一个模块中，我们引入了一个形状引导的翘曲场，以帮助将真实行人的形状变形为不同的形状。然后，在第二阶段，我们提出了一种环境感知混合映射，以更好地将变形的行人适应周围环境，获得更逼真的行人外观和更有益的行人检测增强结果。对不同行人检测基准的广泛实证研究表明，所提出的STDA框架始终比使用低质量行人的其他行人合成方法产生更好的增强结果。通过扩充原始数据集，我们提出的框架还将基线行人检测器在评估基准上提高了38%，实现了最先进的性能。
本文来自IBC2020，介绍了一篇论文，这篇文章介绍了一种称为SUPERNOVA的解决方案，该解决方案由基于深度学习的方法组成，可以大大提高低质量媒体内容的质量。
论文地址：https://arxiv.org/pdf/2007.09355.pdf
在这个追求高品质视觉体验的当下，动漫图像和视频的质量要求越来越高，但有时我们面临的是低质量、低分辨率的图像和视频。
2015年，现任教皇方济各 (Pope Francis) 访美，他是首次对美国进行正式访问的教皇，还将主持在美国领土上的首次封圣，并在国会发表演讲。时任美国总统和副总统的奥巴马及拜登，分别携各自的夫人，一起在美国安德鲁斯空军基地 (Andrews Air Force Base，也是总统机队“空军一号”的驻地) 迎接了教皇专机的降临。
对于一些复杂的或者质量低的图像，现有的基于注意力（attention-based）的方法识别效果很差，我们研究发现其中一个主要的原因是使用这种注意力模型评估的排列很容易损坏由于这些复杂或质量低的图像。换句话说，注意力模型（attention model）不能精确地联系特征向量与输入图像中对应的目标区域，这种现象称为attention drift。为了解决这个问题，本文提出了一种新的方法，称为FAN（Focusing Attention Network）来精确地识别自然图像中的文本。FAN主要由两个子网络组成：AN（attention Network）和现有方法一样，用于识别目标字符；FN（Focusing Network）通过检查AN的注意区域是非在图像中目标字符的正确位置，然后自动地调整这个注意点，下图直观地展示了这两个网络的功能。
中国图象图形学学会围绕「生物特征识别」这一主题，在中科院自动化所成功举办了第四期「CSIG 图像图形学科前沿讲习班」。
美图影像研究院（MT Lab）与中国科学院大学共同提出盲人脸图像修复方法 DiffBFR，用于修复退化模型未知的低质量图像。该方法探索了两种生成式模型GAN和DPM对长尾问题的适应性，设计合适的人脸修复模块来得到更加准确的细节信息，进而降低生成式方法带来的脸部过平滑现象，从而提高修复精度和准确性。该论文DiffBFR: Bootstrapping Diffusion Model for Blind Face Restoration已被ACM MM 2023接收。
美图影像研究院（MT Lab）与中国科学院大学共同提出盲人脸图像修复方法DiffBFR，用于修复退化模型未知的低质量图像。该方法探索了两种生成式模型GAN和DPM对长尾问题的适应性，设计合适的人脸修复模块来得到更加准确的细节信息，进而降低生成式方法带来的脸部过平滑现象，从而提高修复精度和准确性。该论文已被ACM MM 2023接收。
Topaz Video AI 是一款使用人工智能来提高视频质量的软件。它可以将低分辨率素材升级到更高的分辨率，消除噪声和压缩伪影，提高色彩准确性和清晰度，并稳定抖动的素材。Topaz Video AI 使用机器学习算法分析视频帧，并根据从大型数据集中学习的模式生成新像素。这个过程被称为“放大”，它可以在不丢失太多细节或引入模糊的情况下改进低质量的视频。总的来说，Topaz Video AI 对于任何想要提高视频视觉质量的人来说都是一个强大的工具。
这些开源项目都是在处理网页截图和将DOM节点转换为图像方面非常有用的工具。它们提供了跨平台支持、简单易用的API接口以及可自定义选项来满足各种需求。无论是需要在浏览器上直接对网页进行截屏，还是将任意DOM节点转换为矢量或光栅图像，这些项目都能够很好地完成任务。此外，它们还支持设置输出图像质量、大小等参数，并且可以嵌入Web字体并进行优化处理。总之，在保留原始布局与样式同时获得高质量图片方面，这些开源项目表现出色。
• 说明文档： https://www.npmjs.com/package/node-pngquant-native
随着图像修复(IR)的发展，人们对 IR 结果的感知效果的期望显著提高。基于生成先验的 IR 方法，利用强大的预训练生成模型将高质量的生成和先验知识引入 IR ，在这些方面取得了重大进展。不断增强生成先验的能力是实现更优秀的IR结果的关键，模型缩放是一种关键且有效的方法。有许多任务从扩展中获得了惊人的改进，例如SAM 和大型语言模型。这进一步激励努力构建能够产生超高质量图像的大规模智能图像修复模型。然而，由于计算资源、模型架构、训练数据以及生成模型和 IR 的协作等工程限制，扩展 IR 模型具有挑战性。
本文创新性的将视频中目标拆解为静态显著性与运动目标。在视频目标分割领域中，为了规避低质量光流对网络产生的不可逆影响，本文设计了一个光流质量评估网络，其能够同时实现对静态/运动目标预测器结果的自动筛选以及评估光流图中包含目标信息的有效程度.
但这不禁让人思考，通过深度学习训练出来人脸，还叫「图像修复」吗？也许叫「生成」更靠谱一些！
图像恢复的目的是从低质量的观测中重建出高质量的图像。典型的图像恢复问题，如图像去噪、去模糊和超分辨率，通常是在受限的环境下定义的，其中退化过程是简单和已知的(例如，高斯噪声和双三次降采样)。为了处理现实世界中退化的图像，盲图像恢复(BIR)成为一个很有前途的方向。BIR的最终目标是在具有一般退化的一般图像上实现真实的图像重建。BIR不仅扩展了经典图像恢复任务的边界，而且具有广泛的实际应用领域。BIR的研究还处于初级阶段。根据问题设置的不同，现有的BIR方法大致可以分为三个研究方向，即盲图像超分辨率(BSR)、零次图像恢复(ZIR)和盲人脸恢复(BFR)。它们都取得了显著的进步，但也有明显的局限性。BSR最初是为了解决现实世界的超分辨率问题而提出的，其中低分辨率图像包含未知的退化。根据最近的BSR调查，最流行的解决方案可能是BSRGAN和Real-ESRGAN。它们将BSR表述为一个有监督的大规模退化过拟合问题。为了模拟真实的退化，分别提出了退化洗牌策略和高阶退化建模，并用对抗性损失来以端到端方式学习重建过程。它们确实消除了一般图像上的大多数退化，但不能生成真实的细节。此外，它们的退化设置仅限于×4或者×8超分辨率，这对于BIR问题来说是不完整的。第二组ZIR是一个新出现的方向。代表有DDRM、DDNM、GDP。它们将强大的扩散模型作为附加先验，因此比基于GAN的方法具有更大的生成能力。通过适当的退化假设，它们可以在经典图像恢复任务中实现令人印象深刻的零次恢复。但是，ZIR的问题设置与BIR不一致。他们的方法只能处理明确定义的退化(线性或非线性)，但不能很好地推广到未知的退化。第三类是BFR，主要研究人脸修复。最先进的方法可以参考CodeFormer和VQFR。它们具有与BSR方法相似的求解方法，但在退化模型和生成网络上有所不同。由于图像空间较小，这些方法可以利用VQGAN和Transformer在真实世界的人脸图像上取得令人惊讶的好结果。然而，BFR只是BIR的一个子域。它通常假设输入大小固定，图像空间有限，不能应用于一般图像。由以上分析可知，现有的BIR方法无法在一般图像上实现一般退化的同时实现真实图像的重建。因此需要一种新的BIR方法来克服这些限制。本文提出了DiffBIR，将以往工作的优点整合到一个统一的框架中。具体来说，DiffBIR(1)采用了一种扩展的退化模型，可以推广到现实世界的退化;(2)利用训练良好的Stable Diffusion作为先验来提高生成能力;(3)引入了一个两阶段的求解方法来保证真实性和保真度。本文也做了专门的设计来实现这些策略。首先，为了提高泛化能力，本文将BSR的多种退化类型和BFR的广泛退化范围结合起来，建立了一个更实用的退化模型。这有助于DiffBIR处理各种极端退化情况。其次，为了利用Stable Diffusion，本文引入了一个注入调制子网络-LAControlnet，可以针对特定任务进行优化。与ZIR类似，预训练的Stable Diffusion在微调期间是固定的，以保持其生成能力。第三，为了实现忠实和逼真的图像重建，本文首先应用恢复模块(即SwinIR)来减少大多数退化，然后微调生成模块(即LAControlnet)来生成新的纹理。如果没有这个部分，模型可能会产生过度平滑的结果(删除生成模块)或生成错误的细节(删除恢复模块)。此外，为了满足用户多样化的需求，本文进一步提出了一个可控模块，可以实现第一阶段的恢复结果和第二阶段的生成结果之间的连续过渡效果。这是通过在去噪过程中引入潜在图像引导而无需重新训练来实现的。适用于潜在图像距离的梯度尺度可以调整以权衡真实感和保真度。在使用了上述方法后，DiffBIR在合成和现实数据集上的BSR和BFR任务中都表现出优异的性能。值得注意的是，DiffBIR在一般图像恢复方面实现了很大的性能飞跃，优于现有的BSR和BFR方法(如BSRGAN、Real-ESRGAN、CodeFormer等)。可以观察到这些方法在某些方面的差异。对于复杂的纹理，BSR方法往往会产生不真实的细节，而DiffBIR方法可以产生视觉上令人愉悦的结果。对于语义区域，BSR方法倾向于实现过度平滑的效果，而DiffBIR可以重建语义细节。对于微小的条纹，BSR方法倾向于删除这些细节，而DiffBIR方法仍然可以增强它们的结构。此外，DiffBIR能够处理极端的退化并重新生成逼真而生动的语义内容。这些都表明DiffBIR成功地打破了现有BSR方法的瓶颈。对于盲人脸恢复，DiffBIR在处理一些困难的情况下表现出优势，例如在被其他物体遮挡的面部区域保持良好的保真度，在面部区域之外成功恢复。综上所述，DiffBIR首次能够在统一的框架内获得具有竞争力的BSR和BFR任务性能。广泛而深入的实验证明了DiffBIR优于现有的最先进的BSR和BFR方法。
显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图，现有模型的检测结果都不是很理想。为了解决这一问题，该文提出了一种新型多模态增强融合网络(EF-Net)，用于有效的RGB-D显性检测。具体来说，首先仅仅利用RGB图像提示映射模块来预测提示映射，编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图，从而抑制噪声并锐化对象边界。最后，该文构造了分层聚合模块，用于融合增强后的深度图与RGB图像中提取的特征，以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测，充分利用了RGB图像和深度图中的信息，有效地解决了深度图的低质量问题，显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明，该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。
近些年来，深度生成模型取得了巨大的进展，诞生了很多有趣的应用，然而，并非所有生成的结果都很完美。
如果您还没有听过，请告诉您一个事实，作为一名数据科学家，您应该始终站在一个角落跟你说：“你的结果与你的数据一样好。”
AI 科技评论按：对于缺乏高质量标注数据的专业应用，除了继续花钱标数据之外，常用方法似乎也就只有 ImageNet 预训练 + 任务专用数据 fine-tune，众包让外行去标注更多数据拿来训练是万万不敢的。不过 IBM 的这项最新研究就打破了这个禁忌，普通人标注的数据也可以用来训练医疗影像分析模型。AI 科技评论把 IBM 研究院 Reseach Fellow Simone Bianco 撰写的介绍文章编译如下。
AI 科技评论按：2018 年 4 月 14 日-15 日，中国图象图形学学会围绕「生物特征识别」这一主题，在中科院自动化所举办第四期「CSIG 图像图形学科前沿讲习班」。
机器之心专栏 作者：王天宇、胡枭玮 来自香港中文大学与上海人工智能实验室的王天宇与胡枭玮等作者提出了一种实例阴影检测任务，旨在查找阴影与物体之间的关系。 阴影是由光线被物体遮挡而产生，阴影与物体密不可分。为了寻找阴影和产生阴影的物体，来自香港中文大学与上海人工智能实验室的王天宇与胡枭玮等作者提出了一种实例阴影检测任务，旨在查找阴影与物体之间的关系，进而估计光照方向、实现各种图像编辑应用。 实例阴影检测不仅可以找到输入图像中的单个阴影实例，还可以得到投射每个阴影的物体。实例阴影检测任务有助于各种下游应用，例如
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
