關(guān)于直播，所有的技術(shù)細(xì)節(jié)都在這里了！

加速會(huì)注：本文由著名直播平臺(tái)都在使用的云計(jì)算公司 UCloud流媒體研發(fā)團(tuán)隊(duì)撰寫(xiě)！

網(wǎng)絡(luò)視頻直播存在已有很長(zhǎng)一段時(shí)間，隨著移動(dòng)上下行帶寬提升及資費(fèi)的下調(diào)，視頻直播被賦予了更多娛樂(lè)和社交的屬性，人們享受隨時(shí)隨地進(jìn)行直播和觀看，主播不滿足于單向的直播，觀眾則更渴望互動(dòng)，直播的打開(kāi)時(shí)間和延遲變成了影響產(chǎn)品功能發(fā)展重要指標(biāo)。那么，問(wèn)題來(lái)了：如何實(shí)現(xiàn)低延遲、秒開(kāi)的直播？

先來(lái)看看視頻直播的5個(gè)關(guān)鍵的流程：錄制->編碼->網(wǎng)絡(luò)傳輸->解碼->播放，每個(gè)環(huán)節(jié)對(duì)于直播的延遲都會(huì)產(chǎn)生不同程度的影響。這里重點(diǎn)分析移動(dòng)設(shè)備的情況。受限于技術(shù)的成熟度、硬件環(huán)境等，我們針對(duì)移動(dòng)場(chǎng)景簡(jiǎn)單總結(jié)出直播延遲優(yōu)化的4個(gè)點(diǎn)：網(wǎng)絡(luò)、協(xié)議、編解碼、移動(dòng)終端，并將分四大塊來(lái)一一解密UCloud直播云實(shí)現(xiàn)低延遲、秒開(kāi)的技術(shù)細(xì)節(jié)。

一、UCloud直播云實(shí)現(xiàn)接入網(wǎng)絡(luò)優(yōu)化的技術(shù)細(xì)節(jié)：

1）全局負(fù)載均衡-就近接入

實(shí)現(xiàn)就近接入的技術(shù)比較廣為人知，就是CDN即Content Delivery Network （內(nèi)容分發(fā)網(wǎng)絡(luò)）。CDN包含兩大核心技術(shù)：負(fù)載均衡和分發(fā)網(wǎng)絡(luò)，隨著10多年的演進(jìn)，對(duì)負(fù)載均衡和分發(fā)的實(shí)現(xiàn)方式已多種多樣，分發(fā)網(wǎng)絡(luò)的構(gòu)建策略通常是經(jīng)過(guò)日積月累的總結(jié)出一套最合適的分發(fā)路由，并且也不是一成不變，需時(shí)刻關(guān)注調(diào)整，動(dòng)態(tài)運(yùn)營(yíng)。這里重點(diǎn)介紹下CDN的負(fù)載均衡技術(shù)。

負(fù)載均衡是如何實(shí)現(xiàn)讓用戶就進(jìn)訪問(wèn)的呢？比較普遍的實(shí)現(xiàn)方式：通過(guò)用戶使用的DNS服務(wù)器來(lái)判斷客戶端所在的網(wǎng)絡(luò)位置，從而返回對(duì)應(yīng)的服務(wù)IP。如下圖示例:

廣東電信用戶IP:1.1.1.1 需要看一個(gè)直播http://www.ucloud.cn/helloworld.flv，實(shí)現(xiàn)就近訪問(wèn)的過(guò)程是：

1>用戶向配置的DNS服務(wù)器1.1.1.0(通常是運(yùn)營(yíng)商指定，也稱local DNS，后面簡(jiǎn)稱Ldns)發(fā)起www.ucloud.cn的查詢；

2> Ldns 上沒(méi)有該域名的記錄，則往頂級(jí)即Root NS上發(fā)起查詢；

3>Root NS返回告知Ldns該域名的權(quán)威解析記錄在UCloud NS上；

4>Ldns 向UCloud NS發(fā)起查詢；

5>UCloud NS 向UCloud GSLB服務(wù)發(fā)起查詢，GSLB發(fā)現(xiàn) Ldns1.1.1.0是屬于廣東電信；

6>返回廣東電信的就近節(jié)節(jié)點(diǎn)IP1.1.1.2；

7>返回1.1.1.2給Ldns；

8>返回給用戶1.1.1.2，用戶到1.1.1.2上去獲取直播內(nèi)容。

鏈路很長(zhǎng)，但是每個(gè)Ldns上都會(huì)對(duì)查詢過(guò)的域名做合理的緩存，下一個(gè)廣東電信的用戶再來(lái)查詢的時(shí)候就可以直接返回1.1.1.2。架構(gòu)并不復(fù)雜，關(guān)鍵點(diǎn)是如何知道Ldns是位于廣東電信，這就涉及一個(gè)IP地址庫(kù)。有開(kāi)源地址庫(kù)，也有商業(yè)地址庫(kù)，可以按需求采購(gòu)即可，一般一年1萬(wàn)左右。這里不難看出來(lái)，調(diào)度的準(zhǔn)確度是完全依賴用戶配置的Ldns，而這些Ldns大多數(shù)是省級(jí)別的，即GLSB只知道用戶是廣東電信，但是常常分不出來(lái)是廣東廣州電信，還是廣東深圳電信。 HTTPDNS就是實(shí)現(xiàn)更精準(zhǔn)的調(diào)度一種方式：

1>用戶1.1.1.1通過(guò)HTTP協(xié)議直接向UCloud NS請(qǐng)求直播域名www.ucloud.cn；

2>UCloud NS發(fā)現(xiàn)用戶IP1.1.1.1屬于廣東深圳電信；

3>返回廣東深圳電信節(jié)點(diǎn)1.1.1.11給UCloud NS；

4>返回給用戶。

HTTPDNS的好處顯而易見(jiàn)：一可精準(zhǔn)獲得用戶端的IP，有效避免用戶配錯(cuò)Ldns（有時(shí)是網(wǎng)絡(luò)中心配錯(cuò)DNS）的情況，可更精準(zhǔn)定位用戶所在網(wǎng)絡(luò)位置。二可避免DNS解析劫持。

2）BGP中轉(zhuǎn)架構(gòu)-最短傳輸路徑

BGP即Border Gateway Protocol （邊界網(wǎng)關(guān)協(xié)議），業(yè)內(nèi)簡(jiǎn)稱BGP。為什么BGP中轉(zhuǎn)架構(gòu)對(duì)直播加速和分發(fā)如此重要？不得不提國(guó)內(nèi)復(fù)雜的網(wǎng)絡(luò)狀況，較廣為人知的是“南電信北聯(lián)通”的寬帶用戶分布。那一個(gè)簡(jiǎn)單的問(wèn)題，電信主播發(fā)起了直播，聯(lián)通的用戶想看怎么辦呢？ 從結(jié)構(gòu)上講，肯定是有有限個(gè)電信聯(lián)通兩個(gè)運(yùn)營(yíng)商的交匯點(diǎn)，相當(dāng)于信息橋梁。 這就會(huì)帶來(lái)兩個(gè)問(wèn)題：1、路程要繞遠(yuǎn)，網(wǎng)絡(luò)延遲高且不穩(wěn)定；2、高峰期擁堵，導(dǎo)致直播流卡頓。

BGP的技術(shù)原理往簡(jiǎn)單的說(shuō)就是允許同一IP在不同網(wǎng)絡(luò)中廣播不同的路由信息，效果就是同一個(gè)IP，當(dāng)電信用戶來(lái)訪問(wèn)時(shí)走電信網(wǎng)內(nèi)的路由，聯(lián)通用戶來(lái)訪問(wèn)時(shí)走的聯(lián)通的路由。所以BGP技術(shù)對(duì)跨運(yùn)營(yíng)商的訪問(wèn)帶來(lái)了巨大的便利，特別是直播場(chǎng)景。不同于傳統(tǒng)的文件緩存場(chǎng)景，一個(gè)圖片哪怕第一次是跨了遙遠(yuǎn)的距離從源站獲取后，本地網(wǎng)絡(luò)進(jìn)行緩存，后面的訪問(wèn)都走本地網(wǎng)絡(luò)。直播加速是流式的，并且當(dāng)要做到低延遲的時(shí)候，中間的緩存要盡可能少。 BGP相當(dāng)于給跨網(wǎng)的用戶就近搭建了一坐橋梁，不必繞遠(yuǎn)路，延時(shí)和穩(wěn)定性都大大提高了。

技術(shù)原理部分介紹完了，那么多直播延遲影響有多少改善呢？首先這里的就近，不一定是物理距離近，不考慮瞬時(shí)負(fù)載情況下，更多是指測(cè)速延時(shí)最優(yōu)的機(jī)房。在國(guó)內(nèi)一般而言相同的接入運(yùn)營(yíng)商（電信、聯(lián)通、移動(dòng)）并且地理位置最近的情況網(wǎng)絡(luò)延遲最優(yōu)，小于15ms?？缡⊥\(yùn)營(yíng)商的網(wǎng)絡(luò)延遲25~50ms，跨運(yùn)營(yíng)商情況更復(fù)雜一些，在50~100ms?？偨Y(jié)起來(lái)，直播當(dāng)中每個(gè)包的延時(shí)可以縮短100ms，由于網(wǎng)絡(luò)的疊加效果，反射到上層是秒級(jí)的延遲縮減。

二、直播應(yīng)用層協(xié)議及傳輸層協(xié)議的選擇以及對(duì)直播體驗(yàn)影響的分析

直播協(xié)議的選擇

國(guó)內(nèi)常見(jiàn)公開(kāi)的直播協(xié)議有幾個(gè)：RTMP、HLS、HDL（HTTP-FLV）、RTP，我們來(lái)逐一介紹。

RTMP協(xié)議：

是Adobe的專利協(xié)議，現(xiàn)在大部分國(guó)外的CDN已不支持。在國(guó)內(nèi)流行度很高。原因有幾個(gè)方面：

1、開(kāi)源軟件和開(kāi)源庫(kù)的支持穩(wěn)定完整。如斗魚(yú)主播常用的OBS軟件，開(kāi)源的librtmp庫(kù)，服務(wù)端有nginx-rtmp插件。

2、播放端安裝率高。只要瀏覽器支持FlashPlayer就能非常簡(jiǎn)易的播放RTMP的直播，協(xié)議詳解可以Google了解。相對(duì)其他協(xié)議而言，RTMP協(xié)議初次建立連接的時(shí)候握手過(guò)程過(guò)于復(fù)雜（底層基于TCP，這里說(shuō)的是RTMP協(xié)議本身的交互），視不同的網(wǎng)絡(luò)狀況會(huì)帶來(lái)給首開(kāi)帶來(lái)100ms以上的延遲。基于RTMP的直播一般內(nèi)容延遲在2~5秒。

HTTP-FLV協(xié)議：

即使用HTTP協(xié)議流式的傳輸媒體內(nèi)容。相對(duì)于RTMP，HTTP更簡(jiǎn)單和廣為人知，而且不擔(dān)心被Adobe的專利綁架。內(nèi)容延遲同樣可以做到2~5秒，打開(kāi)速度更快，因?yàn)镠TTP本身沒(méi)有復(fù)雜的狀態(tài)交互。所以從延遲角度來(lái)看，HTTP-FLV要優(yōu)于RTMP。

HLS協(xié)議：

即Http Live Streaming，是由蘋(píng)果提出基于HTTP的流媒體傳輸協(xié)議。HLS有一個(gè)非常大的優(yōu)點(diǎn)：HTML5可以直接打開(kāi)播放；這個(gè)意味著可以把一個(gè)直播鏈接通過(guò)微信等轉(zhuǎn)發(fā)分享，不需要安裝任何獨(dú)立的APP，有瀏覽器即可，所以流行度很高。社交直播APP，HLS可以說(shuō)是剛需，下來(lái)我們分析下其原理 。

基于HLS的直播流URL是一個(gè)m3u8的文件，里面包含了最近若干個(gè)小視頻TS（一種視頻封裝格式，這里就不擴(kuò)展介紹）文件，如http://www.ucloud.cn/helloworld.m3u8是一個(gè)直播留鏈接，其內(nèi)容如下：

假設(shè)列表里面的包含5個(gè)TS文件，每個(gè)TS文件包含5秒的視頻內(nèi)容，那么整體的延遲就是25秒。當(dāng)然可以縮短列表的長(zhǎng)度和單個(gè)TS文件的大小來(lái)降低延遲，極致來(lái)說(shuō)可以縮減列表長(zhǎng)度為1，1秒內(nèi)容的m3u8文件，但是極易受網(wǎng)絡(luò)波動(dòng)影響造成卡頓。

通過(guò)公網(wǎng)的驗(yàn)證，目前按同城網(wǎng)絡(luò)可以做到比較好的效果是5~7秒的延遲，也是綜合流暢度和內(nèi)容延遲的結(jié)果。那么HTML5是否可以有更低延遲直接打開(kāi)的直播流技術(shù)呢？ 我們?cè)谧詈髸?huì)探討這個(gè)問(wèn)題。

RTP協(xié)議：

即Real-time Transport Protocol，用于Internet上針對(duì)多媒體數(shù)據(jù)流的一種傳輸層協(xié)議。

實(shí)際應(yīng)用場(chǎng)景下經(jīng)常需要RTCP（RTP Control Protocol）配合來(lái)使用，可以簡(jiǎn)單理解為RTCP傳輸交互控制的信令，RTP傳輸實(shí)際的媒體數(shù)據(jù)。

RTP在視頻監(jiān)控、視頻會(huì)議、IP電話上有廣泛的應(yīng)用，因?yàn)橐曨l會(huì)議、IP電話的一個(gè)重要的使用體驗(yàn)：內(nèi)容實(shí)時(shí)性強(qiáng)。

對(duì)比與上述3種或?qū)嶋H是2種協(xié)議，RTP和它們有一個(gè)重要的區(qū)別就是默認(rèn)是使用UDP協(xié)議來(lái)傳輸數(shù)據(jù)，而RTMP和HTTP是基于TCP協(xié)議傳輸。為什么UDP 能做到如此實(shí)時(shí)的效果呢？關(guān)于TCP和UDP差別的分析文章一搜一大把，這里不在贅述，簡(jiǎn)單概括：

UDP：?jiǎn)蝹€(gè)數(shù)據(jù)報(bào)，不用建立連接，簡(jiǎn)單，不可靠，會(huì)丟包，會(huì)亂序；

TCP：流式，需要建立連接，復(fù)雜，可靠，有序。

實(shí)時(shí)音視頻流的場(chǎng)景不需要可靠保障，因此也不需要有重傳的機(jī)制，實(shí)時(shí)的看到圖像聲音，網(wǎng)絡(luò)抖動(dòng)時(shí)丟了一些內(nèi)容，畫(huà)面模糊和花屏，完全不重要。TCP為了重傳會(huì)造成延遲與不同步，如某一截內(nèi)容因?yàn)橹貍?，?dǎo)致1秒以后才到，那么整個(gè)對(duì)話就延遲了1秒，隨著網(wǎng)絡(luò)抖動(dòng)，延遲還會(huì)增加成2秒、3秒，如果客戶端播放是不加以處理將嚴(yán)重影響直播的體驗(yàn)。

總結(jié)一下：在直播協(xié)議的選擇中，如果選擇是RTMP或HTTP-FLV則意味著有2~5秒的內(nèi)容延遲，但是就打開(kāi)延遲開(kāi)，HTTP-FLV 要優(yōu)于RTMP。HLS則有5~7秒的內(nèi)容延遲。選擇RTP進(jìn)行直播則可以做到1秒內(nèi)的直播延遲。但就目前所了解，各大CDN廠商沒(méi)有支持基于RTP直播的，所以目前國(guó)內(nèi)主流還是RTMP或HTTP-FLV。

是否有除了HLS外更低延遲的方案？

HLS的優(yōu)點(diǎn)點(diǎn)是顯而易見(jiàn)的：移動(dòng)端無(wú)需安裝APP使用兼容HTML5的瀏覽器打開(kāi)即可觀看，所有主流的移動(dòng)端瀏覽器基本都支持HTML5，在直播的傳播和體驗(yàn)上有巨大的優(yōu)勢(shì)。

而看起來(lái)唯一的缺點(diǎn)：內(nèi)容延遲高（這里也有很多HLS限制沒(méi)有提到，比如必須是H264 AAC編碼，也可認(rèn)為是“缺點(diǎn)”之一）。如果能得到解決，那將會(huì)是直播技術(shù)非常大的一個(gè)進(jìn)步?；蛘邠Q個(gè)說(shuō)法，有沒(méi)有更低延遲可直接用鏈接傳播的直播方案？不局限于HLS本身。

對(duì)于瀏覽器直接的視頻互動(dòng)，Google一直在推WebRTC，目前已有不少成型的產(chǎn)品出現(xiàn)，可以瀏覽器打開(kāi)即實(shí)時(shí)對(duì)話、直播。但來(lái)看看如下的瀏覽器覆蓋圖：

非常遺憾的說(shuō)，在直至iOS 9.3上的Safari仍然不能支持WebRTC。繼續(xù)我們的探索，那Websocket支持度如何呢？

除了老而不化的Opera Mini外，所有的瀏覽器都支持WebSocket。這似乎是個(gè)好消息。梳理一下HTML5 WebSocket直播需要解決的問(wèn)題：

1、后端兼容

2、傳輸

3、解碼播放

對(duì)于#1似乎不是特別大問(wèn)題，對(duì)于做過(guò)RTMP轉(zhuǎn)HLS、RTP來(lái)說(shuō)是基本功。#2對(duì)于瀏覽器來(lái)說(shuō)使用HTTP來(lái)傳輸是比較好的選項(xiàng)。對(duì)于#3 這里推薦一個(gè)開(kāi)源的JS解碼項(xiàng)目jsmpeg:https://github.com/phoboslab/jsmpeg，里面已有一個(gè)用于直播的stream-server.js的NodeJS服務(wù)器。

從測(cè)試結(jié)果看，該項(xiàng)目的代碼相對(duì)較薄，還沒(méi)達(dá)到工業(yè)級(jí)的成熟度，需要大規(guī)模應(yīng)用估計(jì)需要自填不少坑，有興趣的同學(xué)可以學(xué)習(xí)研究。

以上就是直播云：直播應(yīng)用層協(xié)議及傳輸層協(xié)議的選擇以及對(duì)直播體驗(yàn)影響的分析 。關(guān)于接入網(wǎng)絡(luò)優(yōu)化、內(nèi)容緩存與傳輸策略優(yōu)化、終端優(yōu)化，請(qǐng)參閱接下來(lái)發(fā)布的其他部分。

三、在傳輸直播流媒體過(guò)程中的內(nèi)容緩存與傳輸策略優(yōu)化細(xì)節(jié)原理

基礎(chǔ)知識(shí)：I幀、B幀、P幀

I幀表示關(guān)鍵幀。你可以理解為這一幀畫(huà)面的完整保留；解碼時(shí)只需要本幀數(shù)據(jù)就可以完成。（因?yàn)榘暾?huà)面）

P幀表示這一幀跟之前的一個(gè)關(guān)鍵幀（或P幀）的差別。解碼時(shí)需要用之前緩存的畫(huà)面疊加上本幀定義的差別，生成最終畫(huà)面。（也就是差別幀，P幀沒(méi)有完整畫(huà)面數(shù)據(jù)，只有與前一幀的畫(huà)面差別的數(shù)據(jù)）

B幀是雙向差別幀。B幀記錄的是本幀與前后幀的差別（具體比較復(fù)雜，有4種情況）。換言之，要解碼B幀，不僅要取得之前的緩存畫(huà)面，還要解碼之后的畫(huà)面，通過(guò)前后畫(huà)面的與本幀數(shù)據(jù)的疊加取得最終的畫(huà)面。

B幀壓縮率高，但是編解碼時(shí)會(huì)比較耗費(fèi)CPU，而且在直播中可能會(huì)增加直播延時(shí)，因此在移動(dòng)端上一般不使用B幀。

關(guān)鍵幀緩存策略

一個(gè)典型的視頻幀序列為IBBPBBPBBP……

對(duì)于直播而言，為了減少直播的延時(shí)，通常在編碼時(shí)不使用B幀。P幀B幀對(duì)于I幀都有直接或者間接的依賴關(guān)系，所以播放器要解碼一個(gè)視頻幀序列，并進(jìn)行播放，必須首先解碼出I幀，其后續(xù)的B幀和P幀才能進(jìn)行解碼，這樣服務(wù)端如何進(jìn)行關(guān)鍵幀的緩存，則對(duì)直播的延時(shí)以及其他方面有非常大的影響。

比較好的策略是服務(wù)端自動(dòng)判斷關(guān)鍵幀的間隔，按業(yè)務(wù)需求緩存幀序列，保證在緩存中存儲(chǔ)至少兩個(gè)或者以上的關(guān)鍵幀，以應(yīng)對(duì)低延時(shí)、防卡頓、智能丟包等需求。

延遲與卡頓的折中

直播的延時(shí)與卡頓是分析直播業(yè)務(wù)質(zhì)量時(shí)，非常關(guān)注的兩項(xiàng)指標(biāo)。互動(dòng)直播的場(chǎng)景對(duì)延時(shí)非常敏感，新聞體育類直播則更加關(guān)注播放的流暢度。

然而，這兩項(xiàng)指標(biāo)從理論上來(lái)說(shuō)，是一對(duì)矛盾的關(guān)系——需要更低的延時(shí)，則表明服務(wù)器端和播放端的緩沖區(qū)都必須更短，來(lái)自網(wǎng)絡(luò)的異常抖動(dòng)容易引起卡頓；業(yè)務(wù)可以接受較高的延時(shí)時(shí)，服務(wù)端和播放端都可以有較長(zhǎng)的緩沖區(qū)，以應(yīng)對(duì)來(lái)自網(wǎng)絡(luò)的抖動(dòng)，提供更流暢的直播體驗(yàn)。

當(dāng)然，對(duì)于網(wǎng)絡(luò)條件非常好的用戶，這兩項(xiàng)是可以同時(shí)保證的，這里主要是針對(duì)網(wǎng)絡(luò)條件不是那么好的用戶，如何解決延時(shí)與卡頓的問(wèn)題。

這里通常有兩種技術(shù)來(lái)平衡和優(yōu)化這兩個(gè)指標(biāo)。

一是服務(wù)端提供靈活的配置策略，對(duì)于延時(shí)要求更敏感的，則在服務(wù)端在保證關(guān)鍵幀的情況下，對(duì)每個(gè)連接維持一個(gè)較小的緩沖隊(duì)列；對(duì)于卡頓要求更高的直播，則適當(dāng)增加緩沖隊(duì)列的長(zhǎng)度，保證播放的流暢。

二是服務(wù)端對(duì)所有連接的網(wǎng)絡(luò)情況進(jìn)行智能檢測(cè)，當(dāng)網(wǎng)絡(luò)狀況良好時(shí)，服務(wù)端會(huì)縮小該連接的緩沖隊(duì)列的大小，降低延遲；而當(dāng)網(wǎng)絡(luò)狀況較差時(shí)，特別是檢測(cè)到抖動(dòng)較為明顯時(shí)，服務(wù)端對(duì)該連接增加緩沖隊(duì)列長(zhǎng)度，優(yōu)先保證播放的流暢性。

丟包策略

什么時(shí)候需要丟包呢？

對(duì)于一個(gè)網(wǎng)絡(luò)連接很好，延時(shí)也比較小的連接，丟包策略永遠(yuǎn)沒(méi)有用武之地的。而網(wǎng)絡(luò)連接比較差的用戶，因?yàn)橄螺d速度比較慢或者抖動(dòng)比較大，這個(gè)用戶的延時(shí)就會(huì)越來(lái)越高。

另外一種情況是，如果直播流關(guān)鍵幀間隔比較長(zhǎng)，那么在保證首包是關(guān)鍵幀的情況下，觀看這個(gè)節(jié)目的觀眾，延遲有可能會(huì)達(dá)到一個(gè)關(guān)鍵幀序列的長(zhǎng)度。上述兩種情況，都需要啟用丟包策略，來(lái)調(diào)整播放的延時(shí)。

關(guān)于丟包，需要解決兩個(gè)問(wèn)題：

一是正確判斷何時(shí)需要進(jìn)行丟包；

二是如何丟包以使得對(duì)觀眾的播放體驗(yàn)影響最小。較好的做法是后端周期監(jiān)控所有連接的緩沖隊(duì)列的長(zhǎng)度，這樣隊(duì)列長(zhǎng)度與時(shí)間形成一個(gè)離散的函數(shù)關(guān)系，后端通過(guò)自研算法來(lái)分析這個(gè)離散函數(shù)，判斷是否需要丟包。

一般的丟幀策略，就是直接丟棄一個(gè)完整的視頻幀序列，這種策略看似簡(jiǎn)單，但對(duì)用戶播放的影響體驗(yàn)非常大。而應(yīng)該是后臺(tái)采用逐步丟幀的策略，每個(gè)視頻幀序列，丟最后的一到兩幀，使得用戶的感知最小，平滑的逐步縮小延時(shí)的效果。

四、客戶端的優(yōu)化

解析優(yōu)化

參見(jiàn)之前介紹的DNS過(guò)程，如下圖：

基于可控和容災(zāi)的需要，移動(dòng)端代碼一般不會(huì)hardcode 推流、播放的服務(wù)器IP地址，而選用域名代替。在IP出現(xiàn)宕機(jī)或網(wǎng)絡(luò)中斷的情況下，還可以通過(guò)變更DNS來(lái)實(shí)現(xiàn)問(wèn)題IP的剔除。而域名的解析時(shí)間需要幾十毫秒至幾秒不等，對(duì)于新生成熱度不高的域名，一般的平均解析延遲在300ms，按上圖的各個(gè)環(huán)節(jié)只要有一個(gè)通路網(wǎng)絡(luò)產(chǎn)生波動(dòng)或者是設(shè)備高負(fù)載，會(huì)增加至秒級(jí)。幾十毫秒的情況是ISP NS這一層在熱度足夠高的情況下會(huì)對(duì)域名的解析進(jìn)行緩存。如下圖：

按我們上面分析的情況，本省延遲大概是15ms左右，那么域名解析最低也可以做到15ms左右。但由于直播場(chǎng)景的特殊性，推流和播放使用的域名使用的熱度較難達(dá)到ISP NS緩存的標(biāo)準(zhǔn)，所以經(jīng)常需要走回Root NS進(jìn)行查詢的路徑。

那客戶端解析優(yōu)化的原理就出來(lái)了：本機(jī)緩存域名的解析結(jié)果，對(duì)域名進(jìn)行預(yù)解析，每次需要直播推流和播放的時(shí)候不再需要再進(jìn)行DNS過(guò)程。此處節(jié)省幾十到幾百毫秒的打開(kāi)延遲。

播放優(yōu)化

直播播放器的相關(guān)技術(shù)點(diǎn)有：直播延時(shí)、首屏?xí)r間（指從開(kāi)始播放到第一次看到畫(huà)面的時(shí)間）、音視頻同步、軟解碼、硬解碼。參考如下播放流程：

播放步驟描述：

根據(jù)協(xié)議類型（如RTMP、RTP、RTSP、HTTP等），與服務(wù)器建立連接并接收數(shù)據(jù)；

解析二進(jìn)制數(shù)據(jù)，從中找到相關(guān)流信息；

根據(jù)不同的封裝格式（如FLV、TS）解復(fù)用（demux）；

分別得到已編碼的H.264視頻數(shù)據(jù)和AAC音頻數(shù)據(jù)；

使用硬解碼（對(duì)應(yīng)系統(tǒng)的API）或軟解碼（FFMpeg）來(lái)解壓音視頻數(shù)據(jù)；

經(jīng)過(guò)解碼后得到原始的視頻數(shù)據(jù)（YUV）和音頻數(shù)據(jù)（AAC）；

因?yàn)橐纛l和視頻解碼是分開(kāi)的，所以我們得把它們同步起來(lái)，否則會(huì)出現(xiàn)音視頻不同步的現(xiàn)象，比如別人說(shuō)話會(huì)跟口型對(duì)不上；

最后把同步的音頻數(shù)據(jù)送到耳機(jī)或外放，視頻數(shù)據(jù)送到屏幕上顯示。

了解了播放器的播放流程后，我們可以優(yōu)化以下幾點(diǎn)：

首屏?xí)r間優(yōu)化

從步驟2入手，通過(guò)預(yù)設(shè)解碼器類型，省去探測(cè)文件類型時(shí)間；

從步驟5入手，縮小視頻數(shù)據(jù)探測(cè)范圍，同時(shí)也意味著減少了需要下載的數(shù)據(jù)量，特別是在網(wǎng)絡(luò)不好的時(shí)候，減少下載的數(shù)據(jù)量能為啟動(dòng)播放節(jié)省大量的時(shí)間，當(dāng)檢測(cè)到I幀數(shù)據(jù)后就立馬返回并進(jìn)入解碼環(huán)節(jié)。

延時(shí)優(yōu)化

視頻緩沖區(qū)或叫視頻緩存策略，該策略原理是當(dāng)網(wǎng)絡(luò)卡頓時(shí)增加用戶等待時(shí)間來(lái)緩存一定量的視頻數(shù)據(jù)，達(dá)到后續(xù)平滑觀看的效果，該技術(shù)能有效減少卡頓次數(shù)，但是會(huì)帶來(lái)直播上的內(nèi)容延時(shí)，所以該技術(shù)主要運(yùn)用于點(diǎn)播，直播方面已去掉該策略，以此盡可能去掉或縮小內(nèi)容從網(wǎng)絡(luò)到屏幕展示過(guò)程中的時(shí)間；（有利于減少延時(shí)）。

下載數(shù)據(jù)探測(cè)池技術(shù)，當(dāng)用戶下載速度不足發(fā)生了卡頓，然后網(wǎng)絡(luò)突然又順暢了，服務(wù)器上之前滯留的數(shù)據(jù)會(huì)加速發(fā)下來(lái)，這時(shí)為了減少之前卡頓造成的延時(shí)，播放器會(huì)加速播放探測(cè)池的視頻數(shù)據(jù)并丟棄當(dāng)前加速部分的音頻數(shù)據(jù)，以此來(lái)保證當(dāng)前觀看內(nèi)容延時(shí)穩(wěn)定。

推流優(yōu)化

推流步驟說(shuō)明：很容易看出推流跟播放其實(shí)是逆向的，具體流程就不多說(shuō)了。

優(yōu)化一：適當(dāng)?shù)腝os（Quality of Service，服務(wù)質(zhì)量）策略。

推流端會(huì)根據(jù)當(dāng)前上行網(wǎng)絡(luò)情況控制音視頻數(shù)據(jù)發(fā)包和編碼，在網(wǎng)絡(luò)較差的情況下，音視頻數(shù)據(jù)發(fā)送不出去，造成數(shù)據(jù)滯留在本地，這時(shí)，會(huì)停掉編碼器防止發(fā)送數(shù)據(jù)進(jìn)一步滯留，同時(shí)會(huì)根據(jù)網(wǎng)絡(luò)情況選擇合適的策略控制音視頻發(fā)送。

比如網(wǎng)絡(luò)很差的情況下，推流端會(huì)優(yōu)先發(fā)送音頻數(shù)據(jù)，保證用戶能聽(tīng)到聲音，并在一定間隔內(nèi)發(fā)關(guān)鍵幀數(shù)據(jù)，保證用戶在一定時(shí)間間隔之后能看到一些畫(huà)面的變化。

優(yōu)化二：合理的關(guān)鍵幀配置。

合理控制關(guān)鍵幀發(fā)送間隔（建議2秒或1秒一個(gè)），這樣可以減少后端處理過(guò)程，為后端的緩沖區(qū)設(shè)置更小創(chuàng)造條件。

軟硬編解選擇

網(wǎng)上有不少關(guān)于選擇軟解還是硬解的分析文章，這里也介紹一些經(jīng)驗(yàn)，但根本問(wèn)題是，沒(méi)有一個(gè)通用方案能最優(yōu)適配所有操作系統(tǒng)和機(jī)型。

推流編碼：推薦Andorid4.3（API18）或以上使用硬編，以下版本使用軟編；iOS使用全硬編方案；

播放解碼：Andorid、iOS播放器都使用軟解碼方案，經(jīng)過(guò)我們和大量客戶的測(cè)試以及總結(jié)，雖然犧牲了功耗，但是在部分細(xì)節(jié)方面表現(xiàn)會(huì)較優(yōu)，且可控性強(qiáng)，兼容性也強(qiáng)，出錯(cuò)情況少，推薦使用。

附軟硬編解碼優(yōu)缺點(diǎn)對(duì)比：

云端機(jī)型及網(wǎng)絡(luò)適配

上面分析了很多針對(duì)視頻編解碼的參數(shù)，但實(shí)際情況最好的編解碼效果是需要根據(jù)機(jī)型的適配的，由于iOS的設(shè)備類型較少，可以做到每個(gè)機(jī)型針對(duì)性的測(cè)試和調(diào)優(yōu)，但是對(duì)于Android就非常難做到逐款機(jī)型針對(duì)性調(diào)優(yōu)，并且每年都會(huì)出產(chǎn)不少的新機(jī)器，如果代碼中寫(xiě)死了配置或判斷邏輯將非常不利于維護(hù)和迭代。

所以我們就誕生了一個(gè)想法，這些判斷邏輯或配置是否可以放在云上呢? 這樣就產(chǎn)生了云端機(jī)型與網(wǎng)絡(luò)適配的技術(shù)。

終端在推流、播放前會(huì)獲取通過(guò)協(xié)議上報(bào)當(dāng)前的機(jī)型配置、網(wǎng)絡(luò)情況、IP信息。云端會(huì)返回一個(gè)已最適合的編解碼策略配置：走軟編還是硬編、各項(xiàng)參數(shù)的配置，就近推流服務(wù)的IP，就近播放服務(wù)的IP。 終端獲取一次即可，不需要每次推流、播放前都去獲取一次。

這樣，在我們不斷的迭代和完善機(jī)型編解碼適配庫(kù)的同時(shí)，所有使用該技術(shù)的直播APP都將收益。

總結(jié)

分析很多直播后端、終端的關(guān)于低延遲、秒開(kāi)的優(yōu)化技術(shù)，在UCloud直播云上都已有了相關(guān)的實(shí)踐，都是一些較“靜態(tài)”的技術(shù)。實(shí)際提供穩(wěn)定、低延遲、流暢的直播服務(wù)，是日常中非常大量細(xì)致的監(jiān)控、算法和動(dòng)態(tài)運(yùn)營(yíng)的結(jié)果，并不是實(shí)現(xiàn)了某些的技術(shù)點(diǎn)，就能坐享一套穩(wěn)定的直播服務(wù)，只能說(shuō)是完成了萬(wàn)里長(zhǎng)城的第一道磚。

加速會(huì)：加速你對(duì)世界的理解，內(nèi)幕全在這里！請(qǐng)關(guān)注加速會(huì)微信公號(hào)：jiasuhuihao

加速會(huì)主編微信：leaderweb

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。