用Jetson NANO实现真实世界超高质量的超分辨率重建

注意，它用的是Vulkan进行计算，并没有用CUDA/OpenCL，这大概处于通用性的考虑。

创建 RealSR 的研究人员写了一篇8 页长的论文《Real-World Super-Resolution via Kernel Estimation and Noise Injection》(点击阅读原文访问)，解释了它的工作原理。它有伪代码和公式以及各种细节。

论文摘要

最新的超分辨率方法在理想数据集上取得了令人印象深刻的性能，而不受模糊和噪声的影响。然而，这些方法在实际图像的超分辨率处理中往往失败，因为它们大多采用简单的双三次下采样，从高质量的图像中构造低分辨率（LR）和高分辨率（HR）对进行训练，这可能会丢失与频率相关的细节。为了解决这个问题，我们致力于设计一个新的退化框架，为现实世界的图像估计各种模糊核以及真实的噪声分布。基于我们新的退化框架，我们可以获得与真实图像共享一个公共域的LR图像。然后，我们提出了一个真实世界的超分辨率模型，旨在更好的感知。

对合成噪声数据和真实图像的大量实验表明，我们的方法优于现有的方法，从而降低了噪声，提高了视觉质量。此外，我们的方法在现实世界超分辨率的两个轨道上都是NTIRE2020挑战赛的冠军，大大优于其他竞争对手。

总之一句话就是：它非常擅长放大图像。

在Jetson NANO安装这个应用的过程不赘述，大家可以直接访问github:

https://github.com/Qengineering/realsr-ncnn-Jetson-Nano

会实现怎样的效果呢？

找一个来自Gabriel Dropout的 Satiana 的 1920x1080 屏幕截图。

使用 GIMP 将来自 Gabriel Dropout 的 Satiana 屏幕截图缩小到仅 200x113 像素：

使用ImageMagick convert放大：

可以发现图像已经模糊了

使用 realsr-ncnn-vulkan 放大：

画面清晰度很高。

计算机视觉将成 2021 年的 AI 应用大趋势！如何从智慧 IoT 传感器搜集到的实时大数据，萃取出独特洞见？本次视频讲座，来自台湾奕瑞科技分享影像辨识王者 NVIDIA 如何将 AI 结合GPU 应用，破解计算机视觉技术的最新应用，创造 AI 智能工厂新核心！