七鑫易维彭凡演讲实录：眼球追踪技术让VR更“人性”

2016年4月21日，在镁客网于上海世博展览馆主办的VR主题论坛上，七鑫易维副总裁彭凡发表了题为《眼球追踪技术——让VR更“人性”》的主题演讲。彭凡表示，眼球追踪技术是目前全球最前沿的机器视觉技术，是最为人性的VR技术。七鑫易维作为技术型公司，希望在未来能为行业提供眼控技术标准，将注视渲染做到极致。

以下是七鑫易维彭凡的演讲实录：

目前，眼球追踪技术已经在国外的医疗领域和广告领域里有一些应用了。比如说，对于像霍金这样的帕金森综合证患者或者是一些全身都不能动的人群来说，能用眼睛来打字、控制电脑是非常重要的。这样的技术在国际上我们叫做眼控沟通辅具。

眼球追踪技术是目前全球最前沿的机器视觉技术，它的原理就是用眼控仪捕捉用户头部运动和眼球转动的信号，实时计算出眼睛的注视点方向。

七鑫易维作为技术型公司，认为当下VR行业有以下四个的瓶颈。首先任何技术的交互都是非常重要的，现在的VR交互大部分还是基于控制器，但是控制器并不能给用户带来真实感，而虚拟现实的特性之一就是真实感。未来VR的交互一定是机器去适应人而不是人去适应机器的。

人在进行信息获取时，有80%以上信息是来自于视觉的。所以说，未来VR体系中的交互技术必定会是眼球追踪、语音识别、手势识别、动作捕捉的集成。

第二个问题是显示。不知道大家在体验VR的时候有没有觉得画面不够清晰？现在大多的设备所能达到的单眼分辨率只有1K，而且计算机已经无法进行渲染了。但是如果想要用户在体验VR时有身临其境的感觉，那么左右眼的画面分辨率就必须要达到8K。

第三个是计算。如果我们想要拥有1000赫兹的渲染刷新率和单眼8K的分辨率，那么对计算机性能的要求就相当的高了。但是，现在市面上具有上好性能的计算机价格都非常的高，怎么把对计算机的要求降下来就变得尤为重要了。

最后一个是内容。我一直觉得内容不是一个很大的问题，因为当整个产业链的技术标准确定之后，我们的内容制造商是可以像智能手机一样快速的去复制内容的。

眼球追踪技术承担着什么作用呢？上面这张图里的电脑屏幕上所显示的是一个体验者眼神的校准页面。眼控交互可以让VR更人性，让我们所看到的VR画面中任何一个物体或任何一个图标，都是出于人眼的自然反应。

每一个人在看东西时的自然反应都是先用眼睛去看的，只有在需要看眼睛视觉范围外的东西的时候才会转动头部。可是当你每点一个图标都必须要进行头部的转动的话，就会觉得用头去看每一个图标是非常累的。在实验室的测试结果中表明，眼动交互特别是针对于二维UI来说其效率可以提高40%，这是在单纯的UI交互上比手势识别、语音识别还要快的一种交互方式。

除了交互以外，注视点渲染也会为整个VR产业革命带去很大影响。现在VR设备的画面之所以不够清晰、计算量高，是因为我们对于渲染的要求高。但是，我们戴上VR头盔所看到的画面也只是注视点所在的位置而已，旁边的画面是看不到的。这和我们现实生活中的真实对焦一样，眼镜看任何东西都是有焦点的，是接收不到焦点以外的信息的。

所以，在做VR渲染的时候，只渲染画面注视中心的位置是非常实用的。也就是说，我们只对注视中心的画面进行100%的渲染，将注视中心边缘的画面按照一定的比例进行像素点和分辨率的降低，这样就能够有效的提升渲染速度以及降低渲染的计算量了。

在游戏当中，眼控技术应用的并不多，这里举几个简单的例子，例如菜单的调用。一般情况下，我们的游戏画面中是不会显示菜单的，只有当玩家将眼镜的注视点放到画面的左上角或右上角时，菜单才会显示出来。

另一个例子就是眼控手电筒。在游戏中特别是恐怖类游戏中，玩家的眼睛就是手电筒，眼睛的注视点就是手电筒光聚焦的那个点，这样一来，游戏的恐怖效果就会更强烈一些。

随着现实中战斗机性能的越来越高，未来的战斗机在对战中很有可能就是用眼神去进行目标锁定的，因为这种锁定方式是最快的。七鑫易维目前做了一个游戏，是一款战斗机瞄准射击游戏。玩家可以用眼神去锁定战斗机，用头部的转动来控制战斗机的视野。对于VR来说，眼控技术其实就像是一个没有确定键的鼠标。

七鑫易维是全球第一个做到全视场角追踪的公司。为什么要强调是全视场角呢？因为如果我们的追踪技术只能追踪到画面中心区域的话，计算机就不知道还有边缘的部分了，那么追踪的效果就会大打折扣。

要做高精度、低延迟的注视点渲染，需要随时随地采集到每一个人的注视点数据，这个数据的延迟必须非常小，因为每个人眼动的速度非常的快，七鑫易维现在已经可以做到120赫兹到380赫兹了。

第三个就是防抖。用户在戴上头盔后难免身体会随着画面进行一些运动，但是这会造成眼睛和传感器之间的剧烈抖动，而这种抖动会影响图像的呈现效果。做好防抖，就是为了给用户更好的体验。

七鑫易维近期会跟高通、AMD这样的很多芯片上游公司进行合作，帮助他们做注视点渲染。希望在不久的将来，VR行业里面就会出现由七鑫易维所提供的眼控技术标准。

我的演讲到此结束，谢谢大家。