原標(biāo)題：騰訊音視頻實(shí)驗(yàn)室劉杉：編解碼標(biāo)準(zhǔn)制定沒(méi)有終點(diǎn)
2017年12月28日，由騰訊社交網(wǎng)絡(luò)事業(yè)群(SNG)主辦TSAIC學(xué)術(shù)&工業(yè)交流盛會(huì)在騰訊濱海大廈舉行，150余位來(lái)自麻省理工、斯坦福、卡耐基梅隆、清華、中科院計(jì)算機(jī)所、微軟研究院等海內(nèi)外知名高校、研究所的學(xué)者和研究員受邀出席。
騰訊音視頻實(shí)驗(yàn)室杰出科學(xué)家劉杉作為主講嘉賓出席此次大會(huì)。在會(huì)上，她分享了視頻編解碼領(lǐng)域的核心技術(shù)和編解碼標(biāo)準(zhǔn)的變遷。她說(shuō)目前我們所處的階段應(yīng)該視為下一代視頻編解碼標(biāo)準(zhǔn)制定的一個(gè)起點(diǎn)，而非終點(diǎn)。在視頻編解碼方面，我們會(huì)持續(xù)進(jìn)行技術(shù)研究和標(biāo)準(zhǔn)布局，為用戶帶來(lái)更好的體驗(yàn)。
以下是劉杉演講全文。
非常高興也非常榮幸來(lái)到這里跟大家做一個(gè)分享。我今天分享的主題是“視頻編解碼和標(biāo)準(zhǔn)化”。
在分享之前，我簡(jiǎn)單介紹一下我自己。跟剛才兩位嘉賓的背景稍稍不一樣，我是來(lái)自工業(yè)界的博士，之前在一些公司工作過(guò)，做過(guò)研究、也做過(guò)產(chǎn)品。如果在座有同學(xué)想了解博士在工業(yè)界的心路歷程，歡迎大家找我分享。
這些年工作的內(nèi)容主要在視頻編解碼和傳輸，也包括前處理，后處理和一些比較寬泛的多媒體相關(guān)項(xiàng)目。近幾年我們聚焦在視頻編解碼的標(biāo)準(zhǔn)制定，也是今天我要跟大家分享的一個(gè)內(nèi)容。我是剛剛加入騰訊的音視頻實(shí)驗(yàn)室。
言歸正傳，今天分享的主題主要包括兩個(gè)部分，一個(gè)部分是視頻編解碼，另外一部分是其標(biāo)準(zhǔn)化。最后我想花一點(diǎn)時(shí)間介紹一下音視頻實(shí)驗(yàn)室現(xiàn)有的一些研究成果和場(chǎng)景。
我認(rèn)為知道為什么要做一件事對(duì)任何一個(gè)項(xiàng)目來(lái)說(shuō)都是至關(guān)重要的。之所以要做視頻壓縮這件事，因?yàn)橐曨l的數(shù)據(jù)量是非常非常大的，大到什么程度呢?舉個(gè)簡(jiǎn)單的例子，有一部?jī)蓚�(gè)小時(shí)的電影，HD 格式，每秒60幀， 現(xiàn)場(chǎng)有沒(méi)有視頻編解碼背景的同學(xué)可以告訴大家，這個(gè)電影如果不壓縮文件會(huì)是多大?
(某位現(xiàn)場(chǎng)嘉賓：“50G�！�)
我們大家一起來(lái)做一個(gè)快速算術(shù)，1980×1080像素每幀，60幀每秒, 2小時(shí)就是120分鐘，如果不壓縮是大約2.7TB。那就是說(shuō)你花大概一百美金買(mǎi)一個(gè)移動(dòng)硬盤(pán)可以裝這樣一部HD電影。那如果我們說(shuō)價(jià)格低要求用SD 格式, 30fps,如果不壓縮也需要大約224GB。 你的手提電腦大概可以裝兩部這樣不壓縮的電影。同樣，如果不壓縮，我們需要傳輸?shù)膸捠呛艽蟮�，HD 60fps的視頻內(nèi)容如果不壓縮需要大約3Gbps的帶寬傳輸。SD 30fps的視頻內(nèi)容也需要大約250Mbps的帶寬。
我花了一分鐘的時(shí)間來(lái)做這個(gè)數(shù)學(xué)，是要說(shuō)明，視頻壓縮這件事情不是重要的，而是必要的。一件事情如果是必要的，我們就要去做。
什么是視頻?
為了做視頻壓縮，我們首先要了解什么是視頻。簡(jiǎn)單講，視頻是一組圖片，但是它不是一組隨機(jī)的圖片，而是有運(yùn)動(dòng)關(guān)系的圖片，我們做視頻就要抓住兩個(gè)點(diǎn)：運(yùn)動(dòng)關(guān)系和圖片。
基于這兩個(gè)基本點(diǎn)，視頻壓縮技術(shù)可以大體分為兩類(lèi)：一類(lèi)是針對(duì)圖片壓縮的，比如chroma sub-sampling、 transform、quantization、 熵編碼等;另外一類(lèi)是針對(duì)運(yùn)動(dòng)關(guān)系的，比如運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和一些相關(guān)技術(shù)。
下面我們一起對(duì)這些基本技術(shù)做一個(gè)快速簡(jiǎn)單回顧。第一個(gè)是chroma sub-sampling。我們把圖片從RGB轉(zhuǎn)換到 YUV然后對(duì)色度做一個(gè)sub-sampling，從YUV444 到 YUV420. 這件事對(duì)博士來(lái)說(shuō)完全沒(méi)有什么技術(shù)含量，但是我們立刻可以節(jié)省一半的數(shù)據(jù)帶寬。
下面這個(gè)有一點(diǎn)技術(shù)含量了，是transform。Transform是把信息從空域轉(zhuǎn)移到頻域，以達(dá)到decorrelation, energy compaction的目的。我們?cè)谝曨l編解碼里面最常用的是DCT，最近的標(biāo)準(zhǔn)里面也開(kāi)始引入了DST。還有其他的一些還在探討之中。
Transform 之后是quantization。(PPT)右上角是一個(gè)舉例的quantization matrix，左下角是一個(gè)舉例的 coefficient matrix，我們用coefficients 除以 quantization系數(shù)就得到右下角這個(gè) quantized coefficient matrix。我們做壓縮的看到這個(gè)會(huì)很興奮，因?yàn)槲覀兛吹胶芏嗪芏嗟?，然后我們會(huì)用一個(gè)遍歷，比如 zig-zag, 來(lái)調(diào)整這些數(shù)字的順序�？吹秸{(diào)整后的數(shù)據(jù)我們會(huì)更加高興了，因?yàn)橛懈噙B續(xù)的0，這是為下一步做準(zhǔn)備。下一步是Entropy Coding，是一種無(wú)損壓縮方式，可以把文件壓縮的更小。
剛才快速分享了幾種針對(duì)圖像壓縮的技術(shù)。
我們?cè)倩氐絼偛胖v的什么是視頻，視頻就是運(yùn)動(dòng)關(guān)系和圖片。圖片方面我們已經(jīng)講了，下面我們要看一下運(yùn)動(dòng)關(guān)系這部分。這里有一個(gè)簡(jiǎn)單的例子。這是一個(gè)視頻里面的三幀，我們可以看到它們之間有很明顯的相關(guān)性。視頻時(shí)域壓縮技術(shù)就是要找到相鄰或相近圖片的相關(guān)性從而去除時(shí)域上的冗余度。為了更好的利用圖片之間的時(shí)域相關(guān)性，我們引入運(yùn)動(dòng)補(bǔ)償。而我們真正在做視頻編解碼的時(shí)候，不像很多領(lǐng)域那樣做的會(huì)去做object detection、segmentation等等，在主流的視頻編解碼解決方案或標(biāo)準(zhǔn)里面我們還是用塊狀的方式，所以對(duì)于運(yùn)動(dòng)補(bǔ)償方面有很多相關(guān)技術(shù)，比如說(shuō)預(yù)測(cè)單元的劃分，運(yùn)動(dòng)矢量本身的預(yù)測(cè)和編解碼等等。我們真正在標(biāo)準(zhǔn)制定的時(shí)候，關(guān)于運(yùn)動(dòng)補(bǔ)償?shù)倪@一大塊，通常都是劃分成很多個(gè)技術(shù)分組來(lái)具體討論它相關(guān)的各個(gè)技術(shù)子級(jí)和細(xì)節(jié)。
有了這些主要的圖片壓縮和處理運(yùn)動(dòng)關(guān)系的技術(shù)模塊，我們就可以得到一個(gè)簡(jiǎn)單的視頻編碼器示意圖和一個(gè)簡(jiǎn)單的視頻解碼器的示意圖。
剛才給大家看的是最簡(jiǎn)單的video codec block diagram，大概是MPEG-2之前的編解碼器狀態(tài)。經(jīng)過(guò)這二三十年的演變和進(jìn)化，現(xiàn)在video codec已經(jīng)變得復(fù)雜了很多，有更多模塊，也有更多技術(shù)細(xì)節(jié)。這是近期HEVC/H.265的Video Encoder，待會(huì)兒我會(huì)再詳細(xì)講這個(gè)標(biāo)準(zhǔn)。
花了幾分鐘時(shí)間，在座各位已經(jīng)是視頻編解碼的專(zhuān)家了，我們可以進(jìn)入下一個(gè)內(nèi)容，視頻壓縮標(biāo)準(zhǔn)。
視頻壓縮標(biāo)準(zhǔn)
在討論視頻壓縮標(biāo)準(zhǔn)的一開(kāi)始，我們?nèi)匀灰獑?wèn)Why? 為什么要做這件事。道理也很簡(jiǎn)單，壓縮過(guò)的視頻是不可讀的binarized bitstream, 從某種角度講，壓縮如同加密，如果沒(méi)有一個(gè)大家都公認(rèn)的協(xié)議或者密碼本這樣的東西，Apple壓縮的視頻內(nèi)容就沒(méi)有辦法被Orange解壓縮。所以為了讓世界上任何以某個(gè)廠家、產(chǎn)品或App壓縮的視頻內(nèi)容可以被任何其他人解壓縮和播放，我們就需要全世界人民都接受的標(biāo)準(zhǔn)。
標(biāo)準(zhǔn)，尤其是國(guó)際標(biāo)準(zhǔn)，就不是一個(gè)人、兩個(gè)人都說(shuō)了算的東西，它需要有標(biāo)準(zhǔn)組織根據(jù)嚴(yán)格的流程來(lái)制定。有兩個(gè)歷史比較悠久的國(guó)際標(biāo)準(zhǔn)組織，其中第一個(gè)是ITU，在它下面有一個(gè)工作組是VCEG，負(fù)責(zé)研究視頻編解碼的技術(shù)和制定標(biāo)準(zhǔn);第二個(gè)標(biāo)準(zhǔn)組織是ISO/IEC JTC 1, 在他下面有一個(gè)工作組是MPEG，負(fù)責(zé)是在ISO/IEC下面研發(fā)視頻編解碼的技術(shù)和制定相關(guān)標(biāo)準(zhǔn)。
大約兩年前一些公司聯(lián)合發(fā)起了一個(gè)新的標(biāo)準(zhǔn)組織AOM，致力于制定不收費(fèi)的視頻編解碼標(biāo)準(zhǔn)。還有一個(gè)標(biāo)準(zhǔn)組織，我覺(jué)得也是非常重要的：AVS，是我們國(guó)內(nèi)的標(biāo)準(zhǔn)組織。近些年AVS做得越來(lái)越好、越來(lái)越強(qiáng)大，現(xiàn)在是完全不可忽視的一個(gè)力量。
我們來(lái)梳理一下時(shí)間線。早在1984年ITU已經(jīng)制定了第一個(gè)標(biāo)準(zhǔn)H.120，因?yàn)楸容^早，可能現(xiàn)在周?chē)煜に娜瞬欢?到1990年推出了H.261，這個(gè)已經(jīng)是被大家廣泛使用的;1993年ISO/IEC推出了MPEG-1 Part2， VCD用的就是這個(gè)格式;1995年出了H.262/MPEG-2 Part 2，這個(gè)標(biāo)準(zhǔn)是ISO/IEC和ITU兩個(gè)組織共同制定的。
我不知道在座多少同學(xué)用過(guò)DVD?DVD這個(gè)格式我們小時(shí)候用了很久，DVD這個(gè)格式就是用了MPEG-2，數(shù)字電視廣播在很長(zhǎng)時(shí)間里也是用的MPEG-2 Part2，直到今天很多數(shù)字電視廣播還在用MPEG-2。到2003年有了H.264/AVC，像Blu-ray、HD-DVD這些格式都是用這個(gè)標(biāo)準(zhǔn)，很多新的電視節(jié)目也都是開(kāi)使用H.264，還有OTT。又過(guò)了大概十來(lái)年，我們推出了H.265/HEVC標(biāo)準(zhǔn)。
無(wú)論是從MPGE-2到H.264還是從H.264到H.265，我們通常認(rèn)為的每?jī)纱匾獦?biāo)準(zhǔn)都做到了壓縮率翻倍。
HEVC，怎么在前一代標(biāo)準(zhǔn)的基礎(chǔ)上做到加倍壓縮?
下面花一點(diǎn)時(shí)間講一下HEVC。HEVC在2007年左右開(kāi)始預(yù)研，到2010年初CfP, 之后經(jīng)歷了兩三年全世界的公司、大學(xué)、研究機(jī)構(gòu)一起努力，在2013年出臺(tái)了Version1，包括 main、main10、main still picture profiles。2014年出版了Version2, 包括RExt, SHVC, Multiview。2015年出版了Version，加入3D。2016年出了Version4，也是HEVC的最后一個(gè)版本，包括之前的所有內(nèi)容并加入Screen Content Coding。
制定標(biāo)準(zhǔn)是一個(gè)蠻艱苦的過(guò)程，不過(guò)努力的工作一般來(lái)說(shuō)回報(bào)都是不錯(cuò)的，HEVC今年獲得了第69屆的艾美工程獎(jiǎng)，我也非常榮幸受邀參加了這個(gè)盛會(huì)。必須指出的是，雖然參加艾美獎(jiǎng)活動(dòng)的人只有十幾個(gè)，但是這套標(biāo)準(zhǔn)的制定積累了上千個(gè)工程師和科學(xué)家、研發(fā)人員的努力。
那我們一起來(lái)看一下HEVC是怎么在前一代標(biāo)準(zhǔn)的基礎(chǔ)上做到加倍壓縮的。這里是一個(gè)H.264的 Block Diagram，H.265在此基礎(chǔ)上對(duì)每個(gè)模塊都做了很多改進(jìn)，引入了新的技術(shù)甚至是新的模塊。由于今天時(shí)間有限不太會(huì)講的很具體，因?yàn)槊恳粋�(gè)技術(shù)又是一個(gè)新的講座。
首先關(guān)于編碼和預(yù)測(cè)單元的劃分。做過(guò)264的同學(xué)都知道，H.264里面用的是 macroblock的單元結(jié)構(gòu)。在265里面我們用了更大、更多種、更靈活的單元?jiǎng)澐址绞�，并且它是遞歸的。 在Inter Prediction 方面，我們也做了不少新技術(shù)，包括更多形狀和大小的預(yù)測(cè)單元、Merge mode、AMVP, 新的DCT based 插值濾波器，等等。在幀內(nèi)預(yù)測(cè)方面，對(duì)比264里面9個(gè)luma intra modes, 4個(gè)chroma intra modes, 265用了35個(gè)預(yù)測(cè)模式對(duì)luma, 其中包含33個(gè)方向性預(yù)測(cè)模式和 DC mode、 Planar mode。為了更有效的壓縮，35個(gè)預(yù)測(cè)模式的壓縮方法也比264做了更新。在transform 方面，除了變換模塊可以更大，變換模式也在 DCT之上引入DST，并且是根據(jù)預(yù)測(cè)模式進(jìn)行切換。同時(shí)掃描方式也更靈活, 引入水平掃描、垂直掃描, 并根據(jù)預(yù)測(cè)模式進(jìn)行切換。在環(huán)路濾波器方面，除了對(duì)deblocking filter進(jìn)行改進(jìn)還引入了一個(gè)新的環(huán)路濾波器SAO。還有很多技術(shù)，今天因?yàn)闀r(shí)間關(guān)系只能浮光掠影地講一下。有興趣的同學(xué)歡迎線下找我討論技術(shù)細(xì)節(jié)。
我們來(lái)做一個(gè)265和264 壓縮效率的比較。我們可以看到在所有的測(cè)試序列和測(cè)試條件下，平均來(lái)說(shuō)265比264的壓縮效率提升了35-40%, BD-rate。如果單單把HD 測(cè)試序列拿出來(lái)看，265比264的壓縮效率提升可以到40-45%。我們做視頻、視覺(jué)或者圖像的同學(xué)都知道，數(shù)據(jù)是一回事，主觀感受也是非常重要的。我們也請(qǐng)了專(zhuān)門(mén)的人做主觀測(cè)試，結(jié)果是對(duì)于HD 測(cè)試序列265比264可以提升67%，對(duì)于 SD 測(cè)試序列265比264 仍然可以提升49%。這些數(shù)據(jù)都顯示265對(duì)比264達(dá)到了一個(gè)壓縮翻倍的目標(biāo)。
做標(biāo)準(zhǔn)的人是永遠(yuǎn)不會(huì)停下來(lái)的，標(biāo)準(zhǔn)這個(gè)事情是一代一代可以一直做下去的。對(duì)于下一代標(biāo)準(zhǔn)(還沒(méi)有正式名字，暫時(shí)稱(chēng)“266“)的預(yù)研大概在2013年、2014年很多公司就開(kāi)始了，2015年10月的時(shí)候，ISO/IEC、ITU這兩個(gè)相愛(ài)相殺這么多年的組織決定一起來(lái)做下一代標(biāo)準(zhǔn)，成立了JVET。又經(jīng)過(guò)了兩年時(shí)間的共同研究，在今年十月標(biāo)準(zhǔn)組織發(fā)了正式的CfP，明年初全球的公司、學(xué)校、科研人員又會(huì)帶著他們的解決方案來(lái)一起討論，在未來(lái)兩三年時(shí)間里面我們又會(huì)很努力的工作，爭(zhēng)取在2020年底完成下一代標(biāo)準(zhǔn)的制定。
剛才講我們對(duì)”H.266”已經(jīng)做了很多預(yù)言，這張圖展示的是現(xiàn)在已經(jīng)公開(kāi)的一些編解碼工具，把這些工具放在一起，我們看到對(duì)于4K和2K的情況，我們已經(jīng)有35%的 coding gain。這給了我們一定的信心可以努力去做出下一個(gè)壓縮翻倍的標(biāo)準(zhǔn)。需要指出的是，這是一個(gè)起點(diǎn)，不是一個(gè)終點(diǎn)，在未來(lái)兩三年里面，我們會(huì)進(jìn)一步把coding gain的數(shù)值增大，把編解碼復(fù)雜度降低，帶給大家更好的體驗(yàn)。
這大概就是我今天分享的關(guān)于視頻編解碼和國(guó)際標(biāo)準(zhǔn)的浮光掠影的簡(jiǎn)單介紹。
騰訊音視頻實(shí)驗(yàn)室現(xiàn)有成果和場(chǎng)景
下面我用簡(jiǎn)單一兩分鐘時(shí)間介紹一下我們音視頻實(shí)驗(yàn)室的一些其他成果和場(chǎng)景，也讓大家感受一下我們實(shí)驗(yàn)室除了做充滿數(shù)據(jù)的編解碼之外還有一些可能更有趣的工作。
比如降噪，比如低照度處理，比如視頻超分，等等。因?yàn)槲覀円涞禺a(chǎn)品，所以我們的算法實(shí)質(zhì)性要求很高。比如說(shuō)這個(gè)任意目標(biāo)跟蹤組件，它可以跟蹤一個(gè)移動(dòng)很快的物體，當(dāng)物體旋轉(zhuǎn)、顏色有改變，或者是被部分遮擋住的時(shí)候也不會(huì)丟失。在iPhone 7+ 上測(cè)試是每秒一百幀的速度。我們的TPG組件提供了一套完整的圖像壓縮解決方案，被用于QQ空間，QQ瀏覽器，騰訊手機(jī)管家，騰訊新聞，騰訊體育，天天快報(bào)等多款公司產(chǎn)品。
另外我們實(shí)驗(yàn)室在語(yǔ)音方面也有很強(qiáng)的技術(shù)積累，一些成果比如語(yǔ)回聲抵消、降噪、變聲、3D音效等等，歡迎同學(xué)們下午到我們音視頻實(shí)驗(yàn)室分論壇進(jìn)行深度技術(shù)交流和體驗(yàn) demo.
我們也在探索跟AI相關(guān)的課題，AI語(yǔ)音降噪和分離，包括AI的語(yǔ)音美化。我們不僅只美化樣子，還要美化聲音，這是全方位的美化。還有AI輔助的音視頻的質(zhì)量評(píng)估，流控，DL輔助視頻編解碼等等。
以上是今天一個(gè)簡(jiǎn)單的分享，非常感謝大家。
劉杉個(gè)人簡(jiǎn)介：
劉杉本科畢業(yè)于清華大學(xué)電子工程系，碩士和博士畢業(yè)于美國(guó)南加州大學(xué)電機(jī)工程系，現(xiàn)任音視頻實(shí)驗(yàn)室杰出科學(xué)家。劉杉加入騰訊之前，曾任華為美國(guó)多媒體實(shí)驗(yàn)室主任兼視頻標(biāo)準(zhǔn)首席科學(xué)家和全球項(xiàng)目負(fù)責(zé)人;在此之前擔(dān)任聯(lián)發(fā)科美國(guó)視頻和視覺(jué)技術(shù)開(kāi)發(fā)部主任。
在聯(lián)發(fā)科任職期間，組建聯(lián)發(fā)科美國(guó)多媒體標(biāo)準(zhǔn)團(tuán)隊(duì)并幫助公司實(shí)現(xiàn)了在視頻編解碼和系統(tǒng)等標(biāo)準(zhǔn)領(lǐng)域從零到一的突破。作為主要發(fā)明人和聯(lián)合發(fā)明人的50余篇技術(shù)提案被ITU-T H.265 ISO / IEC HEVC, MPEG-DASH, OMAF, MMT 等國(guó)際標(biāo)準(zhǔn)采納。于2013年榮獲聯(lián)發(fā)科最高榮譽(yù)研發(fā)金獎(jiǎng)以表彰在標(biāo)準(zhǔn)領(lǐng)域?qū)镜呢暙I(xiàn)。
在此之前還曾擔(dān)任MERL主任研究員、IBM客座研究員、索尼資深算法工程師等職。她曾多次擔(dān)任標(biāo)準(zhǔn)組織技術(shù)分組與專(zhuān)家小組的主席和聯(lián)席主席，并多次在國(guó)際頂級(jí)學(xué)術(shù)會(huì)議擔(dān)任領(lǐng)域主席、論文評(píng)審委員或做邀請(qǐng)報(bào)告。發(fā)表了超過(guò) 30 篇專(zhuān)業(yè)期刊和會(huì)議論文，是超過(guò) 200 個(gè)美國(guó)和全球?qū)＠暾?qǐng)的發(fā)明人，其中許多發(fā)明已被授權(quán)并成為標(biāo)準(zhǔn)基本專(zhuān)利或被內(nèi)置于多款通信和多媒體產(chǎn)品中。是ITU-T H.265 ISO / IEC HEVC V4(定稿版本)七位主編之一。
