同创国芯窦祥峰演讲实录：VR的FPGA应用分析

2016年4月21日，在镁客网于上海世博展览馆主办的VR主题论坛上，同创国芯市场总监窦祥峰发表了题为《VR的FPGA应用分析》的主题演讲。窦祥峰认为，将FPGA应用到VR上面去，可以有效地降低成本，加快研发速度、提升系统性能并缩小系统尺寸、提高安全性。

以下是同创国芯窦祥峰的演讲实录：

首先我想给大家简单的回顾一下国内VR产业的发展趋势，让大家更清楚VR产业趋势技术难点，还有如何去把FPGA应用在VR领域。

我们看这个表，无论是从市场规模还是同比增长上看，VR在2015年到2017年的发展可谓是爆炸式的，所以说，VR未来的市场是相当庞大的。

VR产品包括内容源还有硬件设备，而我们更关注于硬件设备的制造或者说是设计。

大家都很清楚，虚拟现实有两个重要的方面，一是沉浸感，二是反馈，包括人体视觉和身体感觉方面的反馈。给VR设备做一个简单的解释，从传感器的反馈形成现实世界的3D模型，进而形成整个系统。

我想阐述一下硬件设计在VR设备上可以实现的功能，目前无非是VR、AR设备的识别、定位、运算以及传输等，设计方案需要CPU、GPU或者说传感器这些IC基础器件和FPGA做支撑。

比如说在AR上更关心的是对输入信息的认知和理解，那么我们需要去处理诸如目标的定位、识别、跟踪技术、计算机视觉此类的问题。但是它的计算量对于我们系统的处理器或者是说GPU要求都很高，我们要怎么去有效的提升VR设备的性能呢？我认为需要增加FPGA，用以满足日益增加的运算量所带来的设计复杂度的提升。

我们看这张表，中间的FPGA可以实现一些输入输出接口（I/O），比如高分辨率的Camera Link，我们可以利用FPGA做一些图像的缓存；再举个例子，DDR存储器或其他一些和上层设备交互的接口，都可以用FPGA做实现和处理。

这是在VR双目视觉上的FPGA应用。屏幕右边是我们公司的基础开发板，我们看到这两路的视频信号是可以分别用FPGA去做处理的。这个方案其实是将DSP和FPGA配合在一起，这样做的好处第一就是处理的速度非常的快。因为我们都知道FPGA有并行运算的优势，可以把运算的瓶颈从CPU或者GPU上面转移到FPGA里去处理，这样的话就可以降低整个系统的开销，从而提升系统的性能。

这是复合视频处理平台。可以看到复合视频输入FPGA，可以实现高速数据分析、视频信号检测等，处理之后再输出交到下一级，这也是FPGA和DSP（数字信号处理）配合的，如果FPGA的DSP的资源足够的话我们可以把这两个系统，FPGA和DSP合二为一形成自己的设备。

这是我们出于自己的安全考虑所做的。由FPGA做成有加密算法或者是系统的方案，满足我们对信息安全考量的需求。

我想简单回顾一下FPGA给我们设计带来的好处，就是它可以有效降低成本、集成更多功能、实现GPU、CPU所能处理的工作，同时还可以做DSP（数字信号处理）和I/O（输入输出），另外就是它具有的灵活性。

这个芯片是可以被重复编程的，我们可以利用它去做我们的原形验证甚至是将其产品化。另外非常重要的一点就是它可以被快速的推向市场。现在的产品或者说设计，晚推市场一段时间利润就会减少很多，该怎么去占领市场先机呢？

我们在做产品定义或者系统设计、寻找解决方案的时候，去找通用的CPU或者是专用的芯片，往往时间上都不能得到有效的保证。FPGA可以自主开发提高产品的研发速度，可以缩短产品从研发到产品化的时间。

这是我们的应用领域。大家可以简单看一下，我们现在提供的有30K和130K还有180K的产品系列，这些完全可以满足我们对于视频处理、高速接口以及通讯传输功能的需求。同时它支持高速外部接口，可以满足很多我们对VR设备设计的需求。

这是我们的设计软件，是同创拥有自主产权的编程软件，我们称之为PDS。这个软件的界面非常简洁，不会给用户带来设置上的负担。我们提供了丰富的IP资源以及多样化的使用方式。

最后一点就是我们为什么要把FPGA用在VR或者AR设备上面？第一就是VR设备需要显示，FPGA在高分辨率图像或者说在图像的格式转换上面是非常灵活的。第二，加快了我们的研发速度。第三，缩小整个系统的尺寸，FPGA可以实现SOC化，整个系统面积可以得到有效的控制。第四，因为FPGA是多合一的，所以它可以有效的降低我们的系统成本。第五，具有安全性。我们的芯片可以加密，所以说如果有加密需求的话我们完全可以得到一个非常完善的安全系统。

我的介绍就是这样，谢谢大家。