当前位置: 首页 -  蓝鲸科创 - 正文

腾讯音视频通讯技术如何运用到直播中

2020-06-30 06:17 蓝鲸科创 初雪98°c
A+ A-

音视频直播AVL 的一个重要应用是直播中的连麦,现在,斗鱼、虎牙和快手,都使用了这个服务。斗鱼直播产品规划经理汪楚峰也接受了雷锋网的采访,据他介绍,成立于2014年的斗鱼,现在每天开播的直播间数量超过4万,每天的活跃用户超过2000万。

腾讯音视频通讯技术如何运用到直播中

刘晓宇介绍,在音视频通讯中,网络问题一直是一个技术难点。检测网络带宽,以平衡视频质量和传输速度的带宽探测,处理丢包、抖动,都需要很深的技术积累。另外,随着移动互联网的发展,设备碎片化越来越严重,适配不同的设备又成了巨大的问题,“我们经常要适配系统的问题,有时候会出现很戏剧化的事情。”有一个版本的QQ,腾讯特意为适配不好的小米手机做了优化,但版本还没发布,小米就发现了问题,自己率先做了优化。互相适应,结果又有问题了。

现在的直播,秀场和游戏直播占了绝大多数,但同时,也开始出现越来越多的垂直场景,如金融、教育类直播,在这类场景中,除了主播和观众,还涉及到屏幕,现在,腾讯的直播技术已经能解决三方同步、满足屏幕解码和CPU控制的问题。

在QQ发展过程中,其背后的音视频通信技术也经历了对外采购,到成立QQ音视频技术中心,自研引擎,再发展壮大为腾讯音视频实验室,开放自研的SPEAR音视频引擎的过程。现在,随着全民直播时代的到来,腾讯又研发并开放了一体化的直播解决方案,并将腾讯直播SDK应用于斗鱼、虎牙、快手等顶级的直播平台。这背后,技术、经验上的不断进步和积累,也有腾讯对中国复杂的网络状况的智能处理。

音视频中心的发展壮大,推动了QQ音视频通话功能的不断革新。现在,QQ用户每天的音视频通话时长达12亿分钟。2015年11月,腾讯正式开放自研的SPEAR音视频引擎,将包括流控策略控制云端化、通道智能化/多通道备份机制、分布式混音和云混音、跨平台通信协议设计、提供跨平台客户端引擎SDK、预连接设计、双人/多人通话平滑切换、通话客观质量评测体系等特性带给更多的开发者。

从网页直播到移动直播,用户的需求没变,但使用的网络环境、设备、直播环境都在发生变化。例如,移动直播要解决Wi-Fi、移动网络的切换问题;而在不同的空间里,保证音质、视频流畅以及光线平衡,又对技术提出了新的挑战。刘晓宇向雷锋网举了个例子,最早做音视频通讯时,腾讯向GIPS采购的音视频通话方案经常会遇到投诉,其中的一个重要原因是中国复杂的网络环境,比如南北通问题、用户糟糕的网络连接等。

2015年,斗鱼开始使用腾讯提供的直播连麦功能,除了低延迟,腾讯还提供了虚拟装扮、主播变声等特色功能,另外在音乐场景中,腾讯对麦克风收音和音质提高上也有深入的优化。今年初的春节期间QQ视频通话里做了一个视频表情彩蛋的玩法,说出“么么哒”屏幕上会出现红唇表情,说“新年快乐”、“恭喜发财”也会有对应的惊喜表情。这只是语音识别在视频通话上的初步应用。直播平台的竞争已经出现“大鱼吃小鱼”的态势,在刘晓宇看来,技术将成为直播平台差异化的一个突破点。