现有的图像增强数据集都是通过合成或者调整曝光时间得到的，但存在两个问题：①如何确保预先训练的网络可以用于不同设备、不同场景和不同照明条件下收集的图像，而不是构建新的训练数据集。②如何确定用于监督的正常光图像是最好的,因为相对于一张低光照图像，我们可以得到很多的正常光图像。 为了解决上述问题，本文基于信息熵理论和Retinex模型，提出了第一篇基于深度学习的完全自监督做图像增强的论文，本文提出的网络不用成对的数据集，只需要低光照图像（甚至只要一张低光照图像），训练时间为分钟级（minute-level），可以取得实时的性能。该网络将低光照图像分解为反射部分和照度部分，其中反射部分即为增强后的结果。 本文的理论来源：根据信息熵理论，直方图均匀分布的图像熵最大，信息量最大。基于这一点，本文提出了一个假设，即增强后图像最大通道的直方图分布应与直方图均衡化后的低光照图像最大通道的直方图分布一致。有了这一假设，损失函数的设计就不需要正常光图像，不仅保留了增强后图像的真实性，而且包含充足的信息。作者认为，该方法对低亮度图像的获取没有任何依赖,且训练过程完全self-supervised,因此本文提出的方法具有良好的泛化能力,即使预训练的网络对于新的环境结果不是很好,也可以通过重新训练或者微调的方式改善。 基于最大熵的Retinex模型，其理论来源如下，根据Retinex理论，图像可以分解成反射和照度部分，即
低照度图像增强只是对在低环境光环境下拍摄的图像进行增强，以提高图像视觉清晰度，如下图所示：
图像在较低的光照下拍摄往往存在亮度低、对比度差等问题，从而影响一些high-level任务，因此低光照图像增强的研究具有很强的现实意义。现有的方法主要分为两类，基于直方图均衡的方法和基于Retinex理论的方法。基于HE的方法主要是扩大图像的动态范围从而增强整幅图像的对比度，是一个全局的过程，没有考虑亮度的变换，可能会导致过度增强。基于Retinex的方法的关键是估计illumination map，是手工调整的，依赖于参数选择，此外这种方法不考虑去除噪声，甚至会放大噪声。现有的基于深度学习的方法没有显式地包含去噪过程甚至依赖于传统的去噪方法，取得的效果不是很好。
本文为52CV粉丝cyh投稿，介绍了 ICCV 2023 上的新工作《Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement》。
在增强弱光图像时，许多深度学习算法都是基于Retinex理论的，不过Retinex模型没有考虑隐藏在黑暗中或由点亮过程引入的损坏。
尽管早在上世纪80年代末，神经网络就在手写数字识别上表现出色。直到近些年来，随着深度学习的兴起，神经网络才在计算机视觉领域呈现指数级的增长。现在，神经网络几乎在所有计算机视觉和图像处理的任务中都有应用。
视频通话是微信的基础功能之一，在实际应用中受光照条件及视频采集设备能力所限，视频发暗是影响主观体验的重要因素。我们尝试改进这个问题，欢迎留言交流:) 该项工作的主要成果发表在ISCAS 2017国际会议上。（"Low-Lighting Video Enhancement Using Constrained Spatial-Temporal Model for Real-Time Mobile Communication", ISCAS, pp：595-598, Baltimore, MD, USA, 201
【编者按】作为计算机视觉领域里的顶级会议，CVPR 2019 录取论文代表了计算机视觉领域在2019年最新的科技水平以及未来发展潮流。今年有超过 5165 篇大会论文投稿，最终录取 1299 篇。这些录取的最新科研成果，涵盖了计算机视觉领域各项前沿工作。而此次介绍的来自美国天普大学（Temple University）和美图-亮风台联合实验室的黄兵姚和凌海滨提出了端到端的投影广度补偿的策略。据了解，相关论文《End-to-end Projector Photometric Compensation》还入选了CVPR 2019 的 oral presentation，代码已经开源。
今天和大家来说的这个技术很有意思，因为大家都在夜晚拍照过，拍出来的效果要不是模糊要不是曝光时间短带来噪点。
本文针对低照度视频序列，为了增强视频图像的主观视觉质量，设计了正则化的最优化框架（其中包含：亮度增强代价函数，对比度增强代价函数和亮度一致性代价函数），并给出满足实时应用需求的求解方式。该算法具有较低的计算复杂度和极强的鲁棒性，实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。相关技术全部为组内自研，已获中国专利授权一项且中稿国际视频编码领域的重要会议文章一篇。
机器之心原创 编辑：杜伟 针对逆渲染技术的研究成果连续两年入选计算机视觉顶会 CVPR，并从处理单张图像跨越到覆盖整个室内大场景，如视在三维重建领域的视觉算法技术底蕴得到了淋漓尽致的展现。 三维重建是计算机视觉（CV）和计算机图形学（CG）的热点主题之一，它通过 CV 技术处理相机等传感器拍摄的真实物体和场景的二维图像，得到它们的三维模型。随着相关技术的不断成熟，三维重建越来越广泛地应用于智能家居、AR 旅游、自动驾驶与高精度地图、机器人、城市规划、文物重建、电影娱乐等多个不同领域。 典型的基于二维图像的
作者：Chen Chen等 机器之心编译 参与：Pedro、思源 极低照明度下，传统增加亮度的方法会放大噪点和色彩失真。而最近 UIUC 和英特尔的研究者通过全卷积网络处理这一类黑黑的照明度图像，并在抑噪和保真的条件下将它们恢复到正常亮度。这种端到端的方法将为机器赋予强大的夜视能力，且还不需要额外的硬件。 噪声或噪点在成像系统中普遍存在，它会使弱光环境下的成像十分困难。提高 ISO 值可以增加亮度，但同时也会放大噪点。我们虽然可以用缩放或直方图拉伸等后期处理方式来降低前述影响，但这并不能解决光子数低导致的
低照度图像增强《An Integrated Neighborhood Dependent Approach for Nonlinear Enhancement of Color Images》-LiTao 2004
1、A Novel Method to Compensate Variety of Illumination In Face Detection
首先，要区分照度和亮度，照度是一个客观的量，亮度是一个主观的量，不同的人看相同照度的物体所感受到的亮度是不一样的。对于照度线性变化的物体，人眼感受到的亮度不是线性的。人眼对于低照度的物体更敏感，这意味着对于照度为2、3、4的三个物体，人眼能够区分，而对于照度为222、223、224的三个物体，人眼不能区分。
本文介绍的是一种比较实用的低照度图像增强效果很好的方法，Xuan Dong论文《Fast efficient algorithm for enhancement of low lighting video》
具备夜视能力的摄像机，可以打破昼夜限制，识别夜间无法辨别的目标，提高夜间工作的能力，目前已落地到安防、交通管理、环保监测、夜景拍摄、户外探险等场景。
本文介绍改进INDANE算法的低照度图像增强改进算法（AINDANE算法），《Adaptive and integrated neighborhood-dependent approach for nonlinear enhancement of color images》
本文介绍一下我组在 ICCV2023 的论文S3IM: Stochastic Structural SIMilarity and Its Unreasonable Effectiveness for Neural Fields。
Retinex模型是微光图像增强的有效工具。假设观测图像可以分解为反射率和光照。大多数现有的基于retinx的方法都为这种高度病态分解精心设计了手工制作的约束条件和参数，当应用于各种场景时，可能会受到模型容量的限制。在本文中，我们收集了一个包含低/正常光图像对的低光数据集(LOL)，并提出了在该数据集上学习的深度视网膜网络，包括用于分解的解分解网和用于光照调整的增强网。在解压网络的训练过程中，分解的反射率和光照没有ground truth。该网络仅在关键约束条件下学习，包括成对低/正常光图像共享的一致反射率和光照的平滑度。在分解的基础上，通过增强网络对光照进行亮度增强，联合去噪时对反射率进行去噪操作。Retinex-Net是端到端可训练的，因此学习的分解本质上有利于亮度调整。大量实验表明，该方法不仅在弱光增强方面具有良好的视觉效果，而且能很好地表征图像的分解。
论文名称：3D Common Corruptions and Data Augmentation（CVPR2022[Oral]）
本文继上一篇 CVPR 2020 论文大盘点-去雨去雾去模糊篇 之后，继续盘点CVPR 2020 中低层图像处理技术，本篇聚焦于图像视频的增强与恢复，含如下四个方向：
在理想情况下，光学成像系统在物体与图像之间实现点对点映射，捕捉原始信息。然而，在大气中传输时，光学传输过程受到干扰，导致远距离成像质量下降。在传输过程中，包括大气吸收导致的低光对比度以及带来原始光场噪声的大气散射等必然过程被认为是不可逆的，并且由于复杂性而增加熵。在能见度极低的条件下，特别是当成像距离超过气象光学范围时，图像重建变得具有挑战性。然而，对于民用、军事和商业用途，通过大气散射介质延长成像距离以收集所需的光信息至关重要。
面对市场上琳琅满目的芯片，科达结合超微光技术的场景特点，提出了六项边缘算力芯片的筛选标准————模型运行评分、工具链有效性、灵活性、成本、非AI功能、TOPS/W。
图像压缩是许多应用中的重要步骤。经典方法，例如JPEG、JPEG 2000和BPG（H.265/HEVC的帧内编码），主要使用线性变换、量化和熵编码等技术来去除减少输入的冗余并实现更好的率失真（R-D）性能，如图1所示。最近，人们研究了基于深度学习的方法，其中根据神经网络的特性重新设计了三个主要组件。该方法在 PSNR 和 MS-SSIM 指标方面逐渐优于传统方法，并显示出巨大的潜力。
基于Retinex的低光照图像增强包含对比度增强和噪声抑制两个任务，并存在一定的耦合关系，若忽略两者之间的关系可能会导致过度/欠平滑的结果。为了解决这一问题，本文提出了一种改进的Retinex框架，其中，低光照图像的噪声和亮度以一种互相增强的方式感知，来实现基于retinex的图像增强。本文设计了两个“逐点式”(即1*1的滤波器)的卷积神经网络分别用于建模环境光和图像噪声的统计规律，并利用它们作为约束来处理共同学习的过程，两个模型渐进地处理直到获得稳定的结果。网络结果图如下：
本文详细介绍了来自北京航空航天大学徐迈教授课题组发表在IEEE Transactions on Image Processing (TIP) 2021上的最新工作“Deep Coupled Feedback Network for Exposure Fusion and Image Super-Resolution”。
本系列的前面贴子中，我们梳理了Netflix和YouTube在ABR方面的一些进展，本文将简要介绍一下编码优化领域的一位新贵—Beamr的技术动态。 Beamr是内容自适应视频编码与优化解决方案的提供
本次实验采用的是 BSDS500 数据集，其中训练集包含 200 张图像，验证集包含 100 张图像，测试集包含 200 张图像。 数据集来源：https://download.csdn.net/download/weixin_42028424/11045313
图像分类是计算机视觉中最基础的一个任务，也是几乎所有的基准模型进行比较的任务，从最开始比较简单的10分类的灰度图像手写数字识别mnist，到后来更大一点的10分类的cifar10和100分类的cifar100，到后来的imagenet，图像分类任务伴随着数据库的增长，一步一步提升到了今天的水平。现在在Imagenet这样的超过1000万图像，2万类的数据集中，计算机的图像分类水准已经超过了人类。
在游戏、电影和元宇宙中追求更具吸引力和沉浸式的虚拟体验，需要在视觉丰富性和计算效率之间平衡的三维技术进步。在这方面，三维高斯散点（GS）是对神经辐射场的最新替代方案，用于学习和渲染三维对象和场景。GS将场景表示为大量小的、有色的高斯模型。其主要优势是存在一个非常快速的可微渲染器，这使得这种表示非常适合实时应用，并显著降低了学习成本。具体来说，快速渲染可学习的三维表征对于游戏等应用至关重要，这些应用需要高质量、流畅且响应迅速的图形。
光源是机器视觉系统中重要的组件之一，一个合适的光源是机器视觉系统正常运行的必备条件。因此，机器视觉系统光源的选择是非常重要的。使用光源的目的是将被测物体与背景尽量明显分别，获得高品质、高对比度的图像。光源是机器视觉获取图像的基础，通过对光源的改进与设计可以高效的提取出所需目标信息，极大地提高图像处理和识别的效率，提高系统测量精度和可靠性；反之，光源的错误使用则会造成图像处理复杂度提高，系统效率低下。
在夜间由于视线问题，视野范围大大减少，醉酒驾车、闯红灯问题时有发生，如何减少交通事故的发生，道路监控在这方面有着很大的帮助。但同样的问题，夜晚则是考验监控设备的时候，如何能更清楚的监控道路车辆，对于减少交通事故能够起到很大的帮助。
在本系列前面的帖子中，我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ及Bitmovin在ABR方面的一些进展，本文将简要介绍一下编码优化领域的另一位成员—Harmonic的
潜在应用：由于外界环境影响，导致图像成像效果不尽人意，从而影响后续对视频图像的处理。
学习图像压缩（LIC）因其优于传统图像压缩的性能，最近在比特率限制下传输图像方面取得了巨大成功。但是，如果攻击者能在原始图像中引入微小的扰动，从而严重破坏重建后的图像，导致重建图像中的主要物体无法识别，那么 LIC 就被认为不具有鲁棒性。
AI 科技评论按：在 CVPR 2019 CLIC 图像压缩挑战赛中，图鸭科技所提出的算法 TucodecSSIM 夺得了 MS-SSIM 和 MOS 两项指标的冠军，算法 TucodecPSNR 夺得了 PSNR 指标的冠军，算法 TucodecPSNR40dB 则夺得高码点图像压缩 Transparent Track 的冠军。以下为图鸭科技提供的技术解读。
由于未知的降雨模式，单图像去噪相当具有挑战性。现有的方法通常对降雨模型做出特定的假设，这些假设很难涵盖现实世界中的许多不同情况，这使得它们不得不采用复杂的优化或渐进式重建。然而，这严重影响了这些方法在许多效率关键应用中的效率和有效性。为了填补这一空白，在本文中，我们将单图像去噪视为一个通用的图像增强问题，并最初提出了一种无模型的去噪方法，即Ef finicientDeRain，它能够在10ms内（即平均约6ms）处理降雨图像，比最先进的方法（即RCDNet）快80多倍，同时实现类似的去噪效果。我们首先提出了一种新颖的逐像素膨胀滤波器。 特别是，用从核预测网络估计的逐像素核对雨天图像进行滤波，通过该网络可以有效地预测每个像素的合适的多尺度核。然后，为了消除合成数据和真实数据之间的差距，我们进一步提出了一种有效的数据增强方法（即RainMix），该方法有助于训练网络进行真实的雨天图像处理。我们对合成和真实世界的降雨数据集进行了全面评估，以证明我们的方法的有效性和效率。
原文下载地址：https://ece.uwaterloo.ca/~z70wang/publications/ssim.pdf
本文来自Video Scale 2020，演讲者是来自Facebook的研究科学家Ioannis Katsavounidis。演讲题目是视频编码标准和FB的提升工作。演讲分为如下几个部分。
这是第一篇将CNN与Retinex理论结合起来的论文，提出了一个多尺度Retinex卷积网络，端到端的实现低光照图像增强，属于有监督学习，即输入为一张暗的图像，输出为亮图。 本文的最大创新点在于其认为多尺度的Retinex理论等价于一个不同高斯卷积核组成的反馈卷积神经网络，可以写成如下形式：
单张图像的超分辨率（SR）是一项至关重要的任务，并吸引了持续的研究兴趣，这对于提高各种下游任务的低分辨率（LR）图像的质量起着至关重要的作用。从频域的角度来看，导致LR图像的自然或人为退化过程可以看作是对相应高分辨率（HR）图像的广泛低通滤波，导致高频细节的显著损失。因此，重建高质量HR图像的主要难点在于对缺失的高频信息的恢复。近年来，随着深度学习技术的不断创新，出现了各种超分辨率方法。这些方法可以分为两类，即基于回归的方法和生成方法。
互联网时代，社交媒体分享、自动驾驶、增强显示、卫星通信、高清电视或视频监控等应用场景对图片和视频有很强的需求，压缩算法也因此备受关注，但是不同的应用场景对压缩算法的性能要求也不一样，有的需求是保持高清的画质是第一位，有的需求是体积小是第一位，可以损害一些画质。
// 编者按：AI技术的落地是渐渐地从服务器端、云端落地，逐步到移动端及边缘设备上。这些年随着AI技术的进步，轻量级算法模型开始在移动端实时跑起来，并且移动端算法也在不断进行迭代和完善，而对于实时直播场景，也有越来越多的AI算法落地。ZEGO即构科技提出了一套极轻量级AI算法模型，结合移动端硬件特性，差异化优化前馈推理库，让算法模型、推理库、硬件成为一体，使得视频云转码移动端化成为可能。LiveVideoStackCon 2022音视频技术大会上海站邀请到了即构科技的李凯老师，为我们分享产品架构、移
论文标题：Toward Fast, Flexible, and Robust Low-Light Image Enhancement
本文为 AI 研习社社区用户 @月本诚 独家投稿内容，欢迎扫描底部社区名片访问 @月本诚 的主页，查看更多动态。
我们知道，通常的成像系统的动态范围远远小于真实世界场景的动态范围，这使得我们很难去拍摄并还原真实的场景。
随着音视频内容日趋成为主要的内容消费载体，用户们对视频清晰度、画质的要求也在不断提高，我们在这里把视频清晰度、画质都统称为视频质量，来聊一聊如何对其进行优化。
与领先的超分辨率深度神经网络模型相比，Adobe的超分辨率有多有效?这篇文章试图评估这一点，Adobe的超级分辨率的结果非常令人印象深刻。 超分辨率技术 超分辨率是通过提高图像的视分辨率来提高图像质量
在传统的 2D 摄影中，从物体上的一个点发出的光被镜头聚焦到传感器上的一个点上，因此我们可以获知从该点发出的光的强度，但是丢失了光线的方向信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
