我们都是追梦人——爱奇艺8K VR直播技术方案
导读
闲梦江南梅熟日，夜船吹笛雨萧萧，人语驿边桥。梦里不知身是客，人们在互道晚安时，不忘加一句好梦。VR虚拟现实技术，意图是带给用户梦境般身临其境的感觉。怀着忐忑激动的心情，兴致冲冲的购买了一套VR设备，却在用过几次后扔到角落吃灰，相信不少童鞋有过类似经历。看不清楚，像隔了一层纱？画面模糊，一点也不清晰？视频画面品质不够真实，成为虚拟现实走向造梦空间的最大阻碍。
在爱奇艺有一群追逐梦想的”工匠”，致力于为用户提供身临其境的观影体验，不断创新，反复打磨，利用技术不断加持，在8K VR直播方案上做了很多优化，实现了码率降低75%，端到端挥手延迟降低到3秒，移动画面延迟降低到0秒，领跑行业的解决方案。
随着5G技术的发展，VR直播将是一个重点的应用项目，5G价值在于高带宽和低延迟，采用创新“采编播”技术架构,利用4K/8K全景拍摄技术构建直播现场影像。通过5G-CPE环境实现数据快速传输同步，利用爱奇艺云提供计算能力完成视频编辑转码，最终通过爱奇艺VR一体机实现4K/8K全景直播。将为用户提供更加沉浸，码率更高的观影体验。
8K、12K、16K分辨率的必要性
VR视频多数都是球形模型，观看的时候视野只能看到球形上的局部区域，视野能覆盖的区域取决于FOV大小与视野的纵横比，以常见水平方向90度视野纵横比1:1为例： 当头部不转动，目视正前方，视野中的区域只有整个VR视频的1/8，水平方向1/4，竖直方向1/2；最坏的情况下，转动头部方向正对极点，视野中的区域为整个视频区域的1/4。
VR设备为了呈现最优显示效果，视野区域能覆盖的像素越高越好，以常见4K分辨率视频源为例，视野中只有1K左右分辨率的区域，这个1K左右的图片呈现出来只能达到普通视频的720P效果；为了达到普通视频1080P效果，VR视频源至少需要8K分辨率； 考虑到目前2K、3K屏成为VR设备的标配，对超大分辨率的VR视频源需求越来越强烈。
整体流程
爱奇艺8K直播整体流程可分为现场采集推流、云端编码、CDN传输、终端播放4个环节。
现场采集推流指技术团队通过8K摄像机采集会场360度全景信号，编码为码率80Mbps的8K H.265直播信号，回传到直播云编码服务器。
云端编码对8K全景直播信号进行前处理和编码，生产适合传输和终端播放的编码格式。
然后直播云CDN传输将已经编码的直播流进行分发到用户最近的边缘服务器。
最后在终端进行VR全景直播流的下载解码渲染播放。
图示1. 爱奇艺8K直播整体流程
8K分辨率高达7680x3840，是1080P的16倍，码率是60Mbps到120Mbps左右，这对直播从采集到播放的直播链路各环节，都是一次挑战。
技术挑战
首先是码率高，直播流需要从网络下载，码率越高直播视频加载的时间就越长，用户等待的时间就越长，卡顿也会越多。
第二是有效传输利用率低，全景信号拼接使用等距投影，相当于把球体地球仪球面上的点，展开为一幅矩形世界地图。在VR设备中，用户看到的图像仅仅是全景视频画面的一个小部分，即使用户没有转动视角，那些视角外的大量图像像素也会被编码传输到终端播放设备，这是极大的浪费。另外，现在主流芯片解码能力还是4K，更加需要针对VR视频设计一套性价比高的涵盖编码、传输、解码的端到端技术方案。
第三是传输延迟大，这和码率高有直接关系。只有在用户头部转动时，零延时切换视野内的画面，才能让用户切身体会到VR虚拟现实的空间沉浸感，这就对8K VR直播低时延有极高的要求。在降低码率的同时，我们也使用了一些额外技术来降低这类延迟。
解决方案
整体技术方案如图2所示，使用该方案后，码率降低75%，端到端挥手延迟降低到3秒，移动画面延迟降低到0毫秒。
图示2. 爱奇艺8K直播技术方案架构
使用VR设备观看图像时，只会看到一个小矩形的区域。当头部转动时，会移动到另一个尺寸相同的矩形区域。这个矩形区域称为视野(FOV, field-of-view)。视野内的图像画面，我们称为ROI(region-of-interest)。ROI决定了用户能体验到的画面品质，ROI区域外的图像由于用户看不到从而不会带来任何收益。
因此我们在直播编码器前处理环节将完整全景画面分割成N*N个子画面（如图示），例如分辨率是7680x3840的全景视频画面，切割成4*4=16个子画面，每个子画面分辨率1920x960。用户使用VR设备播放的时候，只传输ROI的画面，终端也只解码ROI的画面。
如图示3，16个子画面是tile0，tile1，…，tile15，ROI是{tile0，tile1，tile2，tile4，tile5，tile6，tile8，tile9，tile10}，终端只会下载ROI对应的码流。
图示3. 终端下载数据示意图
头部转动时画面的延迟称为移动画面延迟（Motion-To-Photon Latency）。头部转动时ROI变化，终端缓存的buffer不再有效，移动画面延迟对应重新下载新ROI下的buffer的耗时。通过同时生产一路将完整全景画面缩小后的低质量画面，移动画面延迟优化为0ms没有延时。在网络下行差或者网络抖动的时候，播放低质量画面兜底，而一旦高质量ROI下载完成，便会优先呈现，保证直播画面清晰度和流畅度。
N*N+1路画面之间用PTS严格同步，为了加快处理速度，直播云开发的并行处理程序能满足8K60帧视频的实时分割、编码。解码、画面前处理、编码全部使用硬件加速，每个模块间通过纹理内存传递，无需置换到内存成本，达到单机同时运行17路1080p H.265编码并发或者65路540p H.265编码并发。N*N+1路码流除了PTS严格同步，关闭场景检测来严格对齐I帧，使用Closed GOP、1s GOP size来降低直播延时。
经过编码后的8K码流，总码率是30Mbps左右，通过直播云就近多点直播树回源、预推，快速分发到终端。由于用户在观看过程中随时可能转动视角，为了降低延时，我们设计了分块同源技术，保障终端设备在播放过程中只需从就近一台CDN边缘节点下载数据，极大降低终端设备与CDN间建立连接的次数。
落地项目介绍
2019爱奇艺世界大会现场精彩画面
在刚刚圆满落幕的2019爱奇艺世界大会就是对团队的沙场点兵。在爱奇艺世界大会现场，爱奇艺与中国移动达成战略合作，通过中国移动提供5G网络环境和技术支持，以奇遇VR一体机为观看终端，提供全球顶级的5G+8K VR直播，让观众享受到8K超高清画质和流畅观看现场直播。目前，爱奇艺已完成多场大型活动VR直播项目，包括北京国际电影节、北京世界园艺博览会等。
未来爱奇艺也会在VR直播中提供支持环绕杜比全景声音的观赏体验，通过三维空间音效将用户更好的融入到直播现场中。
end
也许你还想看
扫一扫下方二维码，更多精彩内容陪伴你！
爱奇艺技术产品团队
简单想，简单做