360°Room-Scale范围的基于红外激光定位的定位系统Polaris,还是2年前就销往国内外的一体机M2,全都基于大朋的自有技术:从算法理论,硬件生产,头盔固件,FPGA,到Mobile VR SDK,再行到开发工具,都是大朋“守城狮”们用一行行代码二垒出来的,因此可以说道是代表了中国VR水平的厂商之一。现有市场上VR一体机多基于美国高通或韩国三星的芯片,大朋最先的一体机M2也不值得注意,用于的也是三星芯片。

但是这次有点不一样。在今天“声援”国产芯片的大背景下,早于在几年前,大朋就十分大胆地提早指定了国内的全志VR9芯片。大朋曾向全志建议把ATW等VR算法操作者从GPU中释放出,打造出专有硬件模块提高效率。

4年磨一剑,现在全志再一为全球VR市场公布了第一款专用芯片VR9,定位十分诙谐,却是当前VR专用芯片中唯一享有仅有格式软解码能力,且反对6K全景软解码的全志 VR9芯片,能在超强高性价比芯片成本的基础上,仅次于程度的充分发挥巨幕影院的观影能力,为的就是给用户获取淋漓尽致的VR影音体验。尺有所短寸有所长,VR9的影音解码是强项,但以此就壮烈牺牲了游戏GPU能力。鱼与熊掌不能兼得,谁说道不是呢。图二 VR9框架图在VR9国产的芯片设计的基础上,大朋开始底到低对产品展开优化。

下面的核心技术分析节录大朋DPVR官方说明,我提到过来共享给大家,看完了或许不确保大家对VR的了解产生质的变化,但是满满干货,起码对大家挑选出自己的VR产品,不会有最重要的参照意义,以下为节录部分。VR流水线:从图形到人眼要想要确实理解VR技术的本质,得再行从VR世界中一个物体如何被图形并最后转入人眼的过程谈起。图三: VR物体转入用户眼中的历程(流水线)VR系统本质上是一个异构计算系统,内部的CPU, GPU,Display等硬件模块仍然协同分段工作。

VR世界中的每一个物体从第一个模块开始,在整个流水线上一步步前进,最后转入用户眼中,如何提升流水线的每一步的效率和并行度是VR系统高效运转的关键。-巨幕影院图形算法优化 -设计时受到功耗和芯片面积的容许,移动末端GPU性能参数,不管是FLOP还是内存比特率都大大高于同级别的PC GPU,比如Nvidia的PC末端GPU GTX 650和移动末端GPU Tegra K1,虽然都来自于Kepler 架构,经常出现的时间完全完全相同,但前者的内存比特率是80G/s,后者的只有18G/s。对于用户来说,这个差异意味著移动端的VR应用于和构建不有可能使用和PC系统一样的方法,而对于VR SDK的提供商来说,不能充分发挥“螺丝肚里做道场”的精神,想要办法提高移动平台上GPU的利用率。在这个背景下,需要挤掉CPU和GPU之间泡沫,提升两者运营并行度的AdaptiveQueue Ahead技术应运而生。

以前的VR世界中,CPU总是在VSync(横向实时)来临才开始发布命令图形命令给GPU(如下图),对于较轻的GPU任务,很有可能无法在当前VSync剩余时间中已完成,后果就是应用于的FPS(Frame Per Second,帧亲率)上升,最终用户体验到应用于或者游戏卡顿,表明“鬼影”以及失眠。图四 :不带上Queue Ahead的图形Oculus最先在PC端的Rift上明确提出所谓的AdaptiveQueue Ahead技术,CPU不必傻傻的等候Vsync的来临,而是通过预测,在VSync来临之前几毫秒内开始发布命令图形指令给GPU,让GPU有更加多的时间继续执行任务,有效地提升VR应用于的FPS,产生更佳的用户体验。图五:带上Queue Ahead之后的图形大朋第一次把来自PC VR端的技术引进到VR一体机的世界,让以前运营卡顿的应用于简洁一起,送给用户一个光滑,沉浸于和画面精美的VR世界。

不过,考虑到PC平台和一体机平台之间的计算出来能力差异,但这一个优化还远远不够,于是大朋又通过叫“Hidden Mesh”的技术进一步提高GPU的图形效率。在VR 头盔的光学视场中,由于镜杯结构和人眼特点,图像中某些区域人眼是无法看见的,在VR图像图形中被称作Hidden Area(如下图中红色三角覆盖面积的地方,人眼只不过无法看见)。

图六: Hidden Mesh技术大朋巨幕影院的图形图形中精妙的利用了这点,通过利用类似绘制的HiddenMesh(隐蔽网格),能有效地减少GPU的图形工作量。CPU,GPU并行度提升了,GPU图形效率也提升了,又进了了一步。怀著好奇心,笔者更进一步分析了Oculus Go的系统,或许出于其他的考虑到,找到它并没使用Hidden Mesh。右图红框是Oculus Go Home中用户需要看见的部分,红框之外圆圈之内的内容用户通过透镜和镜杯并无法看见。

接下来要做到的,还必须有效地增加用户配戴时的失眠感觉。人类的身体并非是天生为适应环境VR而设计的。

通过VR设备对感官展开人工性刺激,我们正在毁坏生物机制的运作,这些机制经历了数亿年时间在自然环境中演进而来。我们也向大脑获取与现实体验不完全一致的信息。在某些情况下,我们的身体可能会适应环境新的性刺激。但在一些情况下,我们的身体不会产生失眠和恶心等症状,部分原因是大脑比平时更加高速地运转,以解读这类性刺激。

未知的产生失眠的原因除了表明分辨率/刷新率严重不足,前庭和视觉系统冲突,虚拟世界中比例杂讯等,Motion-To- Photons延时过大也是其中的元凶。Motion-To-Photons延时所指的是在运营VR场景的情况下,从用户的头部移动开始,仍然到这一信号通过VR头盔输入的光学信号同构到人眼所需的时间。一般指出,这一延时小于20毫秒不会导致用户体验到更为显著的失眠。图七:Motion-To-Phontons而现有市面上的VR一体机无一例外都是基于Android系统。

为了提升手机和平板电脑上表明的光滑性,传统的Android系统都是使用了双表明缓冲器或者三表明缓冲器。但是,这个机制让VR应用于无法告诉登录的图像什么时候需要表明在头盔屏幕上,增大了VR一体机的Motion-To-Phonton延时,让用户体验到更加多的失眠。大朋做到了独特的硬件结构和算法优化,让FrontBufferRendering(前屏图形)沦为有可能:流水线中只使用了一个表明缓冲器,仅次于程度上增加了Motion-To-Phonton延时,获取给用户更佳的视觉体验。图八:Front Buffer Rendering- 表明优化 -除了图形性能,表明清晰度仍然是辨别VR头盔好坏的另外一个最重要指标,不过,没所谓表明优化的“银弹”能一招制敌,清晰度的提高来自于各个模块的综合效果,而大朋在每一个部分都做到了大大的递归和改良,从而带给了出众的效果。

首先,GPU图形出来的画面得明晰。但是,计算机图形的场景从三维空间的看作是倒数的,经过光栅化之后最后表明在屏幕上的二维的图像本身毕竟线性的,这造成非几乎横向或者非几乎水平的边上经常出现锯齿。图九:SSAA/MSAA减低锯齿抗锯齿最必要的方法是SSAA(Super Sampling Anti Alias)和MSAA。

明确的思想都是再行把物体图形到比屏幕分辨率大(比如4倍)的缓冲区中,然后再行叛取样到和屏幕分辨率一样的表明缓冲区中最后输入表明,这样更好的信息被保有,而图像物体边缘的颜色也因为混合了有所不同颜色取样点而避免或者减低了锯齿。在大朋巨幕影院的图形图形构建中,使用了SSAA和MSAA来抗锯齿。不过,事情样子还没完了,VR用户经常不会责怪图片或者文字闪光。为什么我们在PC或者手机上看到闪光而在VR头盔中更容易看见?这主要是用户转变了VR世界中离物体的距离,图像或者文字本身图形导致的,再行再加透镜本身的缩放起到,用户就不会仔细观察到闪光。

大朋使用了MipMap技术来避免文字和图片的闪光。MipMap是指根据距观看者远近距离的有所不同,以有所不同的分辨率将单一的材质图形以多重图像的形式展现出出来:尺寸仅次于的图像放到前面明显的方位,而比较较小的图像则前进到背景区域。

每一个有所不同的尺寸等级定义成一个Mipmap水平。图十: Mipmap避免闪光这样,每次图形的时候系统不会找到比较当前场景最合适的图像,做到大于的图形操作者或者显然需要图形,让图像信息仅次于程度的保真。- 70HZ表明刷新率 -和Oculus Go一样,大朋使用了较慢号召fast-LCD 屏幕,区别在于,Oculus Go缺省的刷新率是60HZ(某些类似情况可以到72HZ),而大朋的刷新率则仍然是70HZ。Fast-LCD屏幕上的像素点在每个Vsync过程中并不是几乎照亮,屏幕的余辉(Persistence)大约在1-2ms。

假设屏幕的余晖是1ms,对于60HZ来说,就是6.25%的时间屏幕上像素点是暗的,而对于70hz刷新率来说,就有7%的时间是暗的,大朋巨幕影院用户不会感觉VR世界更加暗。同时,人眼工作在一个更高刷新率的模式,较低刷新率的VR头盔不会让用户深感闪光。- 表明芯片中的异步时间变形 -在一个明晰,低刷新率的稳定世界中,少见的VR失眠仍然还有吗?有可能。拿着头盔的用户用于过程中不时的旋转,图像图形时使用的姿态信息和图像上屏表明时的姿态有可能几乎不一样,用户一样不会暗。

怎么办?初衷是在图像帧扫瞄到显示器之前展开再行一次的调整:根据近期的预测姿态改版图像,这被称作Time Warping(时间变形)或者Reprojection(再行投影)。如果在构建中图形的线程和做到变形的线程是有所不同线程的话,又被称作Asynchronous Time Warping(异步时间变形)。一般而言,VR计算出来过程中最重要的环节,异步时间变形(还包括畸变矫正和色散矫正)在GPU中已完成。

图十一: 传统的ATW但是,由于VR游戏或者应用于不会在图形环节闲置大量的GPU资源和计算能力,不会导致GPU无法及时已完成以上任务,带给较好的用户体验,这在移动平台上常有。大朋巨幕影院中第一次创造性的把时间变形/畸变矫正/色散等处置放到了独立国家的表明芯片中已完成,增加了GPU阻抗,获释了GPU资源,有效地提升了系统性能,也减少了系统功耗。别小看这一步优化,凭借这个,大朋需要在系统功耗上一下子冲破和同类产品的差距,这将在后面展开更进一步说明。图十二: 表明芯片中的ATW- 图像后处理机制 -在手机的世界中,某种程度摄制的照片,再加有所不同的滤镜,立刻凤姐变凤凰,老太逆少女,在VR的世界中更是如此。

而所谓的滤镜,说白了就是图像后处理。大朋巨幕影院系统中的图像后处理系统被称作SmartColor,需要带给更加艳丽的色彩和更佳的色温掌控,还包括如下的功能:(1)自适应的细节和边缘增强;(2)自适应的颜色强化;(3)自适应的对比度强化和色调矫正。

体验一下Oculus Go上和大朋上实拍同一张图片,大朋的色彩要更为的大自然,脸部层次更加非常丰富,头发处的细节表明更为细致。Oculus Go有显著光晕。图十三: 图像后处理较为(右为大朋巨幕影院)- 透镜设计 -VR头盔上的透镜本质上是一个放大镜,也是VR中很多光学缺失比如纱窗效应,谓之散光等的“元凶”或者 “ 出卖”。

在表明屏幕分辨率大致相同的情况下,VR镜片看点有两个:透镜中心到透镜边缘的清晰度上升高低,菲涅尔杂散光和拖影。比如,右图被美国军方用来检测镜片各区域的清晰度。把图放进头盔中,你能明晰看见图像中间水平和横向红线的仅次于刻度是多少?图十四:清晰度较为基准图答案入围,通过把以上图片引入大朋工程样机和OculusGo,左右两侧能看见的仅次于明晰刻度分别是11.2(大朋),11.2 (Oculus Go)。从清晰度的上升程度看,通过头显看以上图片,大朋巨幕影院和Oculus Go超过某种程度的边缘清晰度。

和Oculus Go一样,大朋巨幕影院使用了菲涅尔镜片。和非球面镜片比起,菲涅尔镜片更加重,视场角也能做到的更大,长时间试用更加维护用户的眼睛,但是由于其类似的工艺和形状,齿间的光漫反射,不会导致谓之散光和类似的光晕。

图十五:菲涅尔透镜外观利用菲涅尔镜片的优点,补充其缺点,大朋的光学镜片做到了专门的设计优化,有效地避免了杂散光和光晕。这种优化效果,在黑暗背景下由亮光构成的图案中,需要有效地的仔细观察到。从Oculus Go头盔中捕捉画面并放到大朋巨幕影院头显内表明,仔细观察视野内左下角“并未加装应用于”、“环境”白色字体的拖影情况,与Oculus Go头盔的表明拖影别无二致。

图十六:拖影测试图另外,在大朋巨幕影院中关上“3D影视”- “三少爷的剑”,在影院场景中自由选择第7分列,然后“关灯”,时间轴定格到00:01:02停止,画面表明右图内容,仔细观察虚拟世界银幕以外区域的杂光光晕,完全无法察觉。作为对比,Oculus Go也要表明相近的内容。在SKYBOX,寻找宣传视频,时间轴定格到00:00:11停止,观影场景自由选择“太空”,某种程度仔细观察虚拟世界银幕以外区域的杂光光晕不会稍微差些。图十七:光晕测试全景声声场为增强沉浸于感觉,大朋巨幕影院中重新加入了独特的全景声仿真算法,让用户观赏视频时能体验到全景声效果。

图十八: 全景声示意图(图片源于网络)同时,为了减少周围环境对用户的影响,还构建了定向声场传播,使用者本人和周围的旁观者听见几乎有所不同的效果。深度功耗优化根据CPU自身的状态,大朋巨幕影院系统需要转入到3个有所不同的功耗等级:长时间,待机和深度睡眠中,测算观影续航想去4小时。融合适当的用户操作者和相似电源,大朋巨幕影院系统需要自动在有所不同的模式之间转换,超过节电的目的。同时,根据当前CPU、GPU等硬件模块的阻抗,大朋巨幕影院能动态调节CPU、GPU的频点,以符合有所不同用于场景的性能需求。

比如当CPU使用率小于某一阈值时,不会将CPU运营在更高的频点,以符合更大的性能需求;当CPU使用率大于某一阈值时,系统不会将CPU运营在更加较低的频点,以符合更加低功耗的市场需求。OculusGo也有类似于的电源管理机制,叫作Dynamic Clock Throttling(动态时钟调节中文翻译),不过测算下来观影时间只有大朋的一半,2小时左右。最后的话以上就是大朋巨幕影院技术创新共享的主要内容。笔者期望着像大朋这样从底到低确实国产的硬科技公司,更加多,却是中国科技的发展,必须更加多的技术人员固守冷板凳,解决问题一个又一个技术问题,扎扎实实的撕开下去。

版权文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：狗万·ManBetX-www.mr-fan.cn