从事音视频开发中，视频涉及的东西比较多，尤其是编码这块，本篇介绍下视频的相关概念。
视频通话是微信的基础功能之一，在实际应用中受光照条件及视频采集设备能力所限，视频发暗是影响主观体验的重要因素。我们尝试改进这个问题，欢迎留言交流:) 该项工作的主要成果发表在ISCAS 2017国际会议上。（"Low-Lighting Video Enhancement Using Constrained Spatial-Temporal Model for Real-Time Mobile Communication", ISCAS, pp：595-598, Baltimore, MD, USA, 201
本文针对低照度视频序列，为了增强视频图像的主观视觉质量，设计了正则化的最优化框架（其中包含：亮度增强代价函数，对比度增强代价函数和亮度一致性代价函数），并给出满足实时应用需求的求解方式。该算法具有较低的计算复杂度和极强的鲁棒性，实验证明其大量测试和线上的视频图像的增强效果中没有过度增强和失真增强的差质量样例。相关技术全部为组内自研，已获中国专利授权一项且中稿国际视频编码领域的重要会议文章一篇。
ISP(Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。它可以分为独立与集成两种形式。
交流电网中的传输的能量并不是稳定不变的，而是随着一个固定频率变化的，这个频率一般被称为工频，例如中国是50Hz，美国是60Hz。工频由电力系统决定。 工频的带来的这种能量变化称为flicker。
文章内容是在海思平台((hi3559/hi3519/hi3516/hi3518))上进行isp调试图像问题和解决方法，其它平台可以参考这个思路去解决。
在帧内预测模式中，预测块 P 是基于已编码重建块和当前块形成的。对亮度像素而言，P 块用于4×4 子块或者16×16 宏块的相关操作。4×4 亮度子块有9 种可选预测模式，独立预测每一个4×4亮度子块，适用于带有大量细节的图像编码；16×16 亮度块有4 种预测模式，预测整个16×16 亮度块，适用于平坦区域图像编码；色度块也有4 种预测模式，类似于16×16 亮度块预测模式。编码器通常选择使P 块和编码块之间差异最小的预测模式。
视频编码是对一帧帧图像来进行的。一般彩色图像的格式是 RGB 的，即用红绿蓝三个分量的组合来表示所有颜色。但是，RGB 三个颜色是有相关性的，为了去掉这个相关性，减少需要编码的信息量，通常会把 RGB 转换成 YUV，也就是 1 个亮度分量和 2 个色度分量。
光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。
单目深度估计模型Monodepth2对应的论文为Digging Into Self-Supervised Monocular Depth Estimation，由伦敦大学学院提出，这篇论文的研究目标是从单目RGB图像中恢复出对应的深度，由图1所示：该网络可以从单目图像中恢复对应的深度，图中不同颜色代表不同的深度。
H.264 帧间预测是利用已编码视频帧/场和基于块的运动补偿的预测模式。与以往标准帧间预测的区别在于块尺寸范围更广（从16×16 到4×4）、亚像素运动矢量的使用（亮度采用1/4 像素精度MV）及多参考帧的运用等等。
我们提出的D3VO单目视觉里程计框架从三个层面上利用了深度学习网络，分别是：利用深度学习的深度估计，利用深度学习的位姿估计，以及利用深度学习的不确定度估计。首先我们提出了一个在双目视频上训练得到的自监督单目深度估计网络。特别的，它利用预测亮度变换参数，将训练图像对对齐到相似的亮度条件上。另外，我们建模了输入图像像素的亮度不确定性，从而进一步提高深度估计的准确率，并为之后的直接法视觉里程计提供一个关于光照残差的可学习加权函数。评估结果显示，我们提出的网络超过了当前的sota自监督深度估计网络。D3VO将预测深度，位姿以及不确定度紧密结合到一个直接视觉里程计方法中，来同时提升前端追踪以及后端非线性优化性能。我们在KITTI以及EuRoC MAV数据集上评估了D3VO单目视觉里程计的性能。结果显示，D3VO大大超越了传统的sota视觉里程计方法。同时，它也在KITTI数据集上取得了可以和sota的stereo/LiDAR里程计可比较的结果，以及在EuRoC MAV数据集上和sota的VIO可比较的结果。
本文介绍一下视频压缩编码和音频压缩编码的基本原理。其实有关视频和音频编码的原理的资料非常的多，但是自己一直也没有去归纳和总结一下，在这里简单总结一下，以作备忘。
我们在前文《视频编码（1）》和《视频编码（2）》中探讨了 H.264 视频编码的基本概念、编码工具、编码流程及码流结构等基础知识，以及在 H.264 基础上迭代而生的 H.265 有哪些改进。接下来我们再来聊聊更新一代编码技术 H.266 的改进。
LiteCVR视频质量诊断方案可以实现对监控设备常见的异常抖动、画面条纹、画面模糊、偏色、亮度异常、对比度异常、冻结、丢失、噪声等机器故障及恶意遮挡、恶意变化监控场景的行为做出准确判断，还可以对监控设备因为网络异常等原因导致的设备断线、取流异常、码率是否达标等问题进行准确定位。
一个图像可以视作一个二维矩阵。如果将色彩考虑进来，我们可以做出推广：将这个图像视作一个三维矩阵——多出来的维度用于储存色彩信息。
HDR技术近年来发展迅猛，在未来将会成为图像与视频领域的主流。如何让HDR图像与视频也能够同时兼容地在现有的SDR显示设备上显示，是非常重要的技术挑战。色调映射技术(Tone Mapping)就是用来实现将HDR源信号，转换到SDR源信号的技术。在本系列中，我们将会详细地总结色调映射技术的相关问题，并介绍经典的色调映射算法。将分为三个部分：（一）是色调映射技术的综合介绍；（二）是图像色调映射算法的总结与经典算法介绍；（三）将介绍视频色调映射算法。接前帖，Let's go ahead!
在缺少额外信息的情况下，必须借助光流（optical flow）进行一阶近似（first-order approximations），但这种方法能够建模的物体运动类型比较少，从而可能导致在高度动态的场景下插帧错误的情况。
欢迎关注本文首发公众号：Python学习实战。公众号主要发布Python相关技术文章，分享Python实用案例、面试问答题、Python基础巩固等内容。
视频的一场或一帧可用来产生一个编码图像。通常，视频帧可分成两种类型：连续或隔行视频帧。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。显然，这时场内邻行之间的空间相关性较强，而帧内邻近行空间相关性强，因此活动量较小或静止的图像宜采用帧编码方式，对活动量较大的运动图像则宜采用场编码方式。
在显示器发明之后，从黑白显示器发展到彩色显示器，人们开始使用发出不同颜色的光的荧光粉（CRT，等离子体显示器），或者不同颜色的滤色片（LCD），或者不同颜色的半导体发光器件（OLED和LED大型全彩显示牌）来形成色彩，无一例外的选择了Red,Green,Blue这3种颜色的发光体作为基本的发光单元。通过控制他们发光强度，组合出了人眼睛能够感受到的大多数的自然色彩。 不过这里面的YUV TO RGB的算法,效率实在是低,因为里面有了浮点运算,解一帧176*144的图像大概需要400ms左右,这是无法忍受的,如果消除浮点运算,只需要10ms左右,效率的提升真是无法想象.所以大家还是避免在手机上面进行浮点运算.
后期调试isp，是在rv1126提供的RKISP2.x Tuner工具上进行调试，所以我们大前提必须要把这个环境和一些操作先搞熟悉来，后面有一些专用术语，我们遇到了再去看，现在专门看一些专用术语，也记不住，也不知道他是干嘛用的，所以我们用到了，再去查看，这样可以节约学习成本，提高学习效率！比如下面这些专用名称：
视频超分旨在对低分辨率视频提升分辨率的同时对细节进行增强(可能还会附带噪声抑制、压缩伪影移除亦或取出运动模糊)。现有的视频超分方案大多在合成数据上进行训练，这种简单的退化机制在面对真实场景的复杂退化时就会出现严重的性能下降。因此，如何将学术界的视频超分方案应用到真实场景，或者缩小两者之间的性能差异就更为值得进行探索与研究 。
文章：Hybrid sparse monocular visual odometry with online photometric calibration
HDR是UHD技术中最重要维度之一，带来新的视觉呈现体验。HDR技术涉及到采集、加工、传输、呈现等视频流程上的多个环节，需要定义出互联互通的产业标准，以支持规模化应用和部署。本文整理当前HDR应用中的一些代表性的国际标准。
腾讯云极速高清视频色彩增强技术方案基于深度学习技术，结合卷积网络、全连接网络和回归等算法，实现了通过自动化调整视频的亮度、对比度、饱和度来达到色彩增强的效果。 目前视频色彩自动增强的算法在深度学习领域遇到的问题在于没有有效的监督信息，由于需要提升的是人类视觉系统对视频色彩的主观感受, 而不是客观的信噪比明暗度等指标，因此在学术和工业界都没有形成成熟的方法来提升整体的色彩效果，也难以通过模拟真实场景来获取良好的色彩数据对用以模型的训练。而在落地性上，目前深度学习对色彩增强的方式没有考虑在视频应用
（本文基本逻辑：视频编码的理论基础是什么 → H.264 视频编码的基本概念、编码工具、编码流程及码流结构 → H.265 的编码工具及改进 → H.266 的编码工具及改进）
今天给大侠带来基于FPGA的数字视频信号处理器设计，由于篇幅较长，分三篇。今天带来第一篇，上篇，视频信号概述和视频信号处理的框架。话不多说，上货。
近年来，深度学习技术，作为一把利剑，广泛地应用于计算机视觉等人工智能领域。如今时常见诸报端的“人工智能时代”，从技术角度看，是“深度学习时代”。光流估计是计算机视觉研究中的一个重要方向，然而，因为其不容易在应用中“显式”地呈现，而未被大众熟知。随着计算机视觉学界从图像理解转向视频理解，互联网用户从发布图片朋友圈转向发布短视频，人们对视频的研究和应用的关注不断增强。光流估计作为视频理解的隐形战士，等着我们去寻找其踪迹。本文首先介绍了什么是视频光流估计；再介绍光流估计的算法原理，包括最为经典的Lucas-Kanade算法和深度学习时代光流估计算法代表FlowNet/FlowNet2；最后，介绍了视频光流估计的若干应用。希望对光流估计的算法和应用有个较为全面的介绍。
WDR是wide dynamic range 的缩写，意思是宽动态范围。 根据百度百科，当在强光源（日光、灯具或反光等）照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。而宽动态范围正是致力于解决此类场景中的问题。
近年来，深度学习技术，作为一把利剑，广泛地应用于计算机视觉等人工智能领域。如今时常见诸报端的“人工智能时代”，从技术角度看，是“深度学习时代”。
我们知道，通常的成像系统的动态范围远远小于真实世界场景的动态范围，这使得我们很难去拍摄并还原真实的场景。
一个编码图像通常划分一个或多个片，每个片又可以划分成若干宏块组成，一个宏块由一个 16×16 亮度像素、一个 8×8 Cb以及一个 8×8 Cr 彩色像素块组成，即常见的420采样格式，如下图：
OpenCV和Python结合的学习资料不多，网上的资料更是鱼目混杂，推荐大家OpenCV官方教程中文版 for Python，建议自行下载。
解析 GPUImage详细解析（一） 上一篇介绍的是GPUImageFramebuffer和GPUImageFilter。 简单回顾一下： GPUImageFilter就是用来接收源图像，通过自定义的顶点、片元着色器来渲染新的图像，并在绘制完成后通知响应链的下一个对象。 GPUImageFramebuffer就是用来管理纹理缓存的格式与读写帧缓存的buffer。 这一篇介绍的是GPUImageVideoCamera和GPUImageView。 GPUImageVideoCamera GPUImage
1.背景介绍 随着高动态范围(HDR，High Dynamic Range)概念的普及以及诸如OLED等技术上的进步，消费者市场对HDR设备呈现出极大的热情。相比4K带来的是更多细节和更加精细的纹理上的变化，HDR带来的则是在色彩呈现上更加生动的画面。HDR电视的最高亮度可达1000尼特，亮度的提升使得场景更加的真实。由于HDR相比标准动态分布(SDR，Standard Dynamic Range)拥有更广的亮度范围，因此将HDR的光信号转换为数字信息以进行编码相比传统SDR信号，也需要新一代的变换函数，比
在视频移动对象跟踪中，稀疏光流跟踪是一种经典的对象跟踪算法，可以绘制运动对象的跟踪轨迹与运行方向，是一种简单、实时高效的跟踪算法，这个算法最早是有Bruce D. Lucas and Takeo Kanade两位作者提出来的，所以又被称为KLT。KLT算法工作有三个假设前提条件：
Lucas–Kanade光流算法是一种两帧差分的光流估计算法。它由Bruce D. Lucas 和 Takeo Kanade提出 [1]。
一、光和颜色 1 光和颜色 可见光是波长在380 nm～780 nm 之间的电磁波，我们看到的大多数光不是 一种波长的光，而是由许多不同波长的光组合成的。如果光源由单波长组成，就 称为单色光源。该光源具有能量，也称强度。实际中，只有极少数光源是单色的， 大多数光源是由不同波长组成，每个波长的光具有自身的强度。这称为光源的光 谱分析。 颜色是视觉系统对可见光的感知结果。研究表明，人的视网膜有对红、绿、 蓝颜色敏感程度不同的三种锥体细胞。红、绿和蓝三种锥体细胞对不同频率的光 的感知程度不同，对不同亮度的感知程度也不同。 自然界中的任何一种颜色都可以由R，G，B 这3 种颜色值之和来确定，以这 三种颜色为基色构成一个RGB 颜色空间。
亮度方程 亮度方程给出彩色光的亮度Y与三基色（R、G、B）的关系式 Y=1.0000R+4.5907G+0.06015B 在不同的彩色电视制式中，由于所选的标准白光和显像三基色不同，导致亮度方程也互有差异。 以C光为标准白光源的NTSC制彩色电视制式的亮度方程为 =0.229R+0.587G+0.114BN 以Des光为标准白光源的PAL制彩色电视制式的亮度方程式为 Y=0.222R+0.707G十0.071B 由于NTSC制彩色电视广播发展较早，大量的电视设备都是按它设计的，所以PAL制中没有采用自己的亮度方程，而是延用了NTSC的亮度方程式，使用了与NTSC制彩色电视相同的显像三基色。为了书写方便，一般应用中，略去显像三基色系数下标，并被近似地写为 Y-0.30R+0.59G+0.11B
如今，“图像分类”、“目标检测”、“语义分割”、“实例分割”和“目标追踪”等5大领域是计算机视觉的热门应用。其中“图像分类”与“目标检测”是最基础的应用，在此基础上，派生出了“语义分割”、“实例分割”和“目标跟踪”等相对高级的应用。
数字图像由二维元素组成，每一个元素具有一个特定位置(x,y)和幅值f(x,y)，这些元素就称为像素
本周主要介绍一篇基于传统光流法而改进的实现快速的稠密光流算法。该算法已经集成到OpenCV中，算法介绍网址：http://lear.inrialpes.fr/src/deepmatching/
前些时间，我在知识星球上创建了一个音视频技术社群：关键帧的音视频开发圈，在这里群友们会一起做一些打卡任务。比如：周期性地整理音视频相关的面试题，汇集一份音视频面试题集锦，你可以看看这个合集：音视频面试题集锦。再比如：循序渐进地归纳总结音视频技术知识，绘制一幅音视频知识图谱，你可以看看这个合集：音视频知识图谱。
这个公众号会路线图式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高，错过干货损失不小 ↓↓↓
作者 黄志标：中国科学院大学硕士，京东AI与大数据部算法工程师。 擅长图像检索、深度学习领域。曾参与京东的上亿重图检测项目，目前主要负责京东全景主图、视频审核项目。 安山：山东大学机器人研究中心硕士，京东AI与大数据部资深算法工程师。 研究兴趣为大规模图像检索、计算机视觉。负责京东图像搜索引擎、知识产权保护、深度学习算法移动化。在计算机视觉领域获得2项发明专利授权，另有十余项专利申请。 据京东财报显示，京东集团第二季度净利润达9.765亿，年度活跃用户达2.583亿，订单完成量为5.912亿。扎实的用户基
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
