原標題：騰訊音視頻實驗室劉杉：編解碼標準制定沒有終點
2017年12月28日，由騰訊社交網(wǎng)絡事業(yè)群(SNG)主辦TSAIC學術(shù)&工業(yè)交流盛會在騰訊濱海大廈舉行，150余位來自麻省理工、斯坦福、卡耐基梅隆、清華、中科院計算機所、微軟研究院等海內(nèi)外知名高校、研究所的學者和研究員受邀出席。
騰訊音視頻實驗室杰出科學家劉杉作為主講嘉賓出席此次大會。在會上，她分享了視頻編解碼領(lǐng)域的核心技術(shù)和編解碼標準的變遷。她說目前我們所處的階段應該視為下一代視頻編解碼標準制定的一個起點，而非終點。在視頻編解碼方面，我們會持續(xù)進行技術(shù)研究和標準布局，為用戶帶來更好的體驗。
以下是劉杉演講全文。
非常高興也非常榮幸來到這里跟大家做一個分享。我今天分享的主題是“視頻編解碼和標準化”。
在分享之前，我簡單介紹一下我自己。跟剛才兩位嘉賓的背景稍稍不一樣，我是來自工業(yè)界的博士，之前在一些公司工作過，做過研究、也做過產(chǎn)品。如果在座有同學想了解博士在工業(yè)界的心路歷程，歡迎大家找我分享。
這些年工作的內(nèi)容主要在視頻編解碼和傳輸，也包括前處理，后處理和一些比較寬泛的多媒體相關(guān)項目。近幾年我們聚焦在視頻編解碼的標準制定，也是今天我要跟大家分享的一個內(nèi)容。我是剛剛加入騰訊的音視頻實驗室。
言歸正傳，今天分享的主題主要包括兩個部分，一個部分是視頻編解碼，另外一部分是其標準化。最后我想花一點時間介紹一下音視頻實驗室現(xiàn)有的一些研究成果和場景。
我認為知道為什么要做一件事對任何一個項目來說都是至關(guān)重要的。之所以要做視頻壓縮這件事，因為視頻的數(shù)據(jù)量是非常非常大的，大到什么程度呢?舉個簡單的例子，有一部兩個小時的電影，HD 格式，每秒60幀， 現(xiàn)場有沒有視頻編解碼背景的同學可以告訴大家，這個電影如果不壓縮文件會是多大?
(某位現(xiàn)場嘉賓：“50G。”)
我們大家一起來做一個快速算術(shù)，1980×1080像素每幀，60幀每秒, 2小時就是120分鐘，如果不壓縮是大約2.7TB。那就是說你花大概一百美金買一個移動硬盤可以裝這樣一部HD電影。那如果我們說價格低要求用SD 格式, 30fps,如果不壓縮也需要大約224GB。 你的手提電腦大概可以裝兩部這樣不壓縮的電影。同樣，如果不壓縮，我們需要傳輸?shù)膸捠呛艽蟮模琀D 60fps的視頻內(nèi)容如果不壓縮需要大約3Gbps的帶寬傳輸。SD 30fps的視頻內(nèi)容也需要大約250Mbps的帶寬。
我花了一分鐘的時間來做這個數(shù)學，是要說明，視頻壓縮這件事情不是重要的，而是必要的。一件事情如果是必要的，我們就要去做。
什么是視頻?
為了做視頻壓縮，我們首先要了解什么是視頻。簡單講，視頻是一組圖片，但是它不是一組隨機的圖片，而是有運動關(guān)系的圖片，我們做視頻就要抓住兩個點：運動關(guān)系和圖片。
基于這兩個基本點，視頻壓縮技術(shù)可以大體分為兩類：一類是針對圖片壓縮的，比如chroma sub-sampling、 transform、quantization、 熵編碼等;另外一類是針對運動關(guān)系的，比如運動估計、運動補償和一些相關(guān)技術(shù)。
下面我們一起對這些基本技術(shù)做一個快速簡單回顧。第一個是chroma sub-sampling。我們把圖片從RGB轉(zhuǎn)換到 YUV然后對色度做一個sub-sampling，從YUV444 到 YUV420. 這件事對博士來說完全沒有什么技術(shù)含量，但是我們立刻可以節(jié)省一半的數(shù)據(jù)帶寬。
下面這個有一點技術(shù)含量了，是transform。Transform是把信息從空域轉(zhuǎn)移到頻域，以達到decorrelation, energy compaction的目的。我們在視頻編解碼里面最常用的是DCT，最近的標準里面也開始引入了DST。還有其他的一些還在探討之中。
Transform 之后是quantization。(PPT)右上角是一個舉例的quantization matrix，左下角是一個舉例的 coefficient matrix，我們用coefficients 除以 quantization系數(shù)就得到右下角這個 quantized coefficient matrix。我們做壓縮的看到這個會很興奮，因為我們看到很多很多的0，然后我們會用一個遍歷，比如 zig-zag, 來調(diào)整這些數(shù)字的順序。看到調(diào)整后的數(shù)據(jù)我們會更加高興了，因為有更多連續(xù)的0，這是為下一步做準備。下一步是Entropy Coding，是一種無損壓縮方式，可以把文件壓縮的更小。
剛才快速分享了幾種針對圖像壓縮的技術(shù)。
我們再回到剛才講的什么是視頻，視頻就是運動關(guān)系和圖片。圖片方面我們已經(jīng)講了，下面我們要看一下運動關(guān)系這部分。這里有一個簡單的例子。這是一個視頻里面的三幀，我們可以看到它們之間有很明顯的相關(guān)性。視頻時域壓縮技術(shù)就是要找到相鄰或相近圖片的相關(guān)性從而去除時域上的冗余度。為了更好的利用圖片之間的時域相關(guān)性，我們引入運動補償。而我們真正在做視頻編解碼的時候，不像很多領(lǐng)域那樣做的會去做object detection、segmentation等等，在主流的視頻編解碼解決方案或標準里面我們還是用塊狀的方式，所以對于運動補償方面有很多相關(guān)技術(shù)，比如說預測單元的劃分，運動矢量本身的預測和編解碼等等。我們真正在標準制定的時候，關(guān)于運動補償?shù)倪@一大塊，通常都是劃分成很多個技術(shù)分組來具體討論它相關(guān)的各個技術(shù)子級和細節(jié)。
有了這些主要的圖片壓縮和處理運動關(guān)系的技術(shù)模塊，我們就可以得到一個簡單的視頻編碼器示意圖和一個簡單的視頻解碼器的示意圖。
剛才給大家看的是最簡單的video codec block diagram，大概是MPEG-2之前的編解碼器狀態(tài)。經(jīng)過這二三十年的演變和進化，現(xiàn)在video codec已經(jīng)變得復雜了很多，有更多模塊，也有更多技術(shù)細節(jié)。這是近期HEVC/H.265的Video Encoder，待會兒我會再詳細講這個標準。
花了幾分鐘時間，在座各位已經(jīng)是視頻編解碼的專家了，我們可以進入下一個內(nèi)容，視頻壓縮標準。
視頻壓縮標準
在討論視頻壓縮標準的一開始，我們?nèi)匀灰獑朩hy? 為什么要做這件事。道理也很簡單，壓縮過的視頻是不可讀的binarized bitstream, 從某種角度講，壓縮如同加密，如果沒有一個大家都公認的協(xié)議或者密碼本這樣的東西，Apple壓縮的視頻內(nèi)容就沒有辦法被Orange解壓縮。所以為了讓世界上任何以某個廠家、產(chǎn)品或App壓縮的視頻內(nèi)容可以被任何其他人解壓縮和播放，我們就需要全世界人民都接受的標準。
標準，尤其是國際標準，就不是一個人、兩個人都說了算的東西，它需要有標準組織根據(jù)嚴格的流程來制定。有兩個歷史比較悠久的國際標準組織，其中第一個是ITU，在它下面有一個工作組是VCEG，負責研究視頻編解碼的技術(shù)和制定標準;第二個標準組織是ISO/IEC JTC 1, 在他下面有一個工作組是MPEG，負責是在ISO/IEC下面研發(fā)視頻編解碼的技術(shù)和制定相關(guān)標準。
大約兩年前一些公司聯(lián)合發(fā)起了一個新的標準組織AOM，致力于制定不收費的視頻編解碼標準。還有一個標準組織，我覺得也是非常重要的：AVS，是我們國內(nèi)的標準組織。近些年AVS做得越來越好、越來越強大，現(xiàn)在是完全不可忽視的一個力量。
我們來梳理一下時間線。早在1984年ITU已經(jīng)制定了第一個標準H.120，因為比較早，可能現(xiàn)在周圍熟悉它的人不多;到1990年推出了H.261，這個已經(jīng)是被大家廣泛使用的;1993年ISO/IEC推出了MPEG-1 Part2， VCD用的就是這個格式;1995年出了H.262/MPEG-2 Part 2，這個標準是ISO/IEC和ITU兩個組織共同制定的。
我不知道在座多少同學用過DVD?DVD這個格式我們小時候用了很久，DVD這個格式就是用了MPEG-2，數(shù)字電視廣播在很長時間里也是用的MPEG-2 Part2，直到今天很多數(shù)字電視廣播還在用MPEG-2。到2003年有了H.264/AVC，像Blu-ray、HD-DVD這些格式都是用這個標準，很多新的電視節(jié)目也都是開使用H.264，還有OTT。又過了大概十來年，我們推出了H.265/HEVC標準。
無論是從MPGE-2到H.264還是從H.264到H.265，我們通常認為的每兩代重要標準都做到了壓縮率翻倍。
HEVC，怎么在前一代標準的基礎(chǔ)上做到加倍壓縮?
下面花一點時間講一下HEVC。HEVC在2007年左右開始預研，到2010年初CfP, 之后經(jīng)歷了兩三年全世界的公司、大學、研究機構(gòu)一起努力，在2013年出臺了Version1，包括 main、main10、main still picture profiles。2014年出版了Version2, 包括RExt, SHVC, Multiview。2015年出版了Version，加入3D。2016年出了Version4，也是HEVC的最后一個版本，包括之前的所有內(nèi)容并加入Screen Content Coding。
制定標準是一個蠻艱苦的過程，不過努力的工作一般來說回報都是不錯的，HEVC今年獲得了第69屆的艾美工程獎，我也非常榮幸受邀參加了這個盛會。必須指出的是，雖然參加艾美獎活動的人只有十幾個，但是這套標準的制定積累了上千個工程師和科學家、研發(fā)人員的努力。
那我們一起來看一下HEVC是怎么在前一代標準的基礎(chǔ)上做到加倍壓縮的。這里是一個H.264的 Block Diagram，H.265在此基礎(chǔ)上對每個模塊都做了很多改進，引入了新的技術(shù)甚至是新的模塊。由于今天時間有限不太會講的很具體，因為每一個技術(shù)又是一個新的講座。
首先關(guān)于編碼和預測單元的劃分。做過264的同學都知道，H.264里面用的是 macroblock的單元結(jié)構(gòu)。在265里面我們用了更大、更多種、更靈活的單元劃分方式，并且它是遞歸的。 在Inter Prediction 方面，我們也做了不少新技術(shù)，包括更多形狀和大小的預測單元、Merge mode、AMVP, 新的DCT based 插值濾波器，等等。在幀內(nèi)預測方面，對比264里面9個luma intra modes, 4個chroma intra modes, 265用了35個預測模式對luma, 其中包含33個方向性預測模式和 DC mode、 Planar mode。為了更有效的壓縮，35個預測模式的壓縮方法也比264做了更新。在transform 方面，除了變換模塊可以更大，變換模式也在 DCT之上引入DST，并且是根據(jù)預測模式進行切換。同時掃描方式也更靈活, 引入水平掃描、垂直掃描, 并根據(jù)預測模式進行切換。在環(huán)路濾波器方面，除了對deblocking filter進行改進還引入了一個新的環(huán)路濾波器SAO。還有很多技術(shù)，今天因為時間關(guān)系只能浮光掠影地講一下。有興趣的同學歡迎線下找我討論技術(shù)細節(jié)。
我們來做一個265和264 壓縮效率的比較。我們可以看到在所有的測試序列和測試條件下，平均來說265比264的壓縮效率提升了35-40%, BD-rate。如果單單把HD 測試序列拿出來看，265比264的壓縮效率提升可以到40-45%。我們做視頻、視覺或者圖像的同學都知道，數(shù)據(jù)是一回事，主觀感受也是非常重要的。我們也請了專門的人做主觀測試，結(jié)果是對于HD 測試序列265比264可以提升67%，對于 SD 測試序列265比264 仍然可以提升49%。這些數(shù)據(jù)都顯示265對比264達到了一個壓縮翻倍的目標。
做標準的人是永遠不會停下來的，標準這個事情是一代一代可以一直做下去的。對于下一代標準(還沒有正式名字，暫時稱“266“)的預研大概在2013年、2014年很多公司就開始了，2015年10月的時候，ISO/IEC、ITU這兩個相愛相殺這么多年的組織決定一起來做下一代標準，成立了JVET。又經(jīng)過了兩年時間的共同研究，在今年十月標準組織發(fā)了正式的CfP，明年初全球的公司、學校、科研人員又會帶著他們的解決方案來一起討論，在未來兩三年時間里面我們又會很努力的工作，爭取在2020年底完成下一代標準的制定。
剛才講我們對”H.266”已經(jīng)做了很多預言，這張圖展示的是現(xiàn)在已經(jīng)公開的一些編解碼工具，把這些工具放在一起，我們看到對于4K和2K的情況，我們已經(jīng)有35%的 coding gain。這給了我們一定的信心可以努力去做出下一個壓縮翻倍的標準。需要指出的是，這是一個起點，不是一個終點，在未來兩三年里面，我們會進一步把coding gain的數(shù)值增大，把編解碼復雜度降低，帶給大家更好的體驗。
這大概就是我今天分享的關(guān)于視頻編解碼和國際標準的浮光掠影的簡單介紹。
騰訊音視頻實驗室現(xiàn)有成果和場景
下面我用簡單一兩分鐘時間介紹一下我們音視頻實驗室的一些其他成果和場景，也讓大家感受一下我們實驗室除了做充滿數(shù)據(jù)的編解碼之外還有一些可能更有趣的工作。
比如降噪，比如低照度處理，比如視頻超分，等等。因為我們要落地產(chǎn)品，所以我們的算法實質(zhì)性要求很高。比如說這個任意目標跟蹤組件，它可以跟蹤一個移動很快的物體，當物體旋轉(zhuǎn)、顏色有改變，或者是被部分遮擋住的時候也不會丟失。在iPhone 7+ 上測試是每秒一百幀的速度。我們的TPG組件提供了一套完整的圖像壓縮解決方案，被用于QQ空間，QQ瀏覽器，騰訊手機管家，騰訊新聞，騰訊體育，天天快報等多款公司產(chǎn)品。
另外我們實驗室在語音方面也有很強的技術(shù)積累，一些成果比如語回聲抵消、降噪、變聲、3D音效等等，歡迎同學們下午到我們音視頻實驗室分論壇進行深度技術(shù)交流和體驗 demo.
我們也在探索跟AI相關(guān)的課題，AI語音降噪和分離，包括AI的語音美化。我們不僅只美化樣子，還要美化聲音，這是全方位的美化。還有AI輔助的音視頻的質(zhì)量評估，流控，DL輔助視頻編解碼等等。
以上是今天一個簡單的分享，非常感謝大家。
劉杉個人簡介：
劉杉本科畢業(yè)于清華大學電子工程系，碩士和博士畢業(yè)于美國南加州大學電機工程系，現(xiàn)任音視頻實驗室杰出科學家。劉杉加入騰訊之前，曾任華為美國多媒體實驗室主任兼視頻標準首席科學家和全球項目負責人;在此之前擔任聯(lián)發(fā)科美國視頻和視覺技術(shù)開發(fā)部主任。
在聯(lián)發(fā)科任職期間，組建聯(lián)發(fā)科美國多媒體標準團隊并幫助公司實現(xiàn)了在視頻編解碼和系統(tǒng)等標準領(lǐng)域從零到一的突破。作為主要發(fā)明人和聯(lián)合發(fā)明人的50余篇技術(shù)提案被ITU-T H.265 ISO / IEC HEVC, MPEG-DASH, OMAF, MMT 等國際標準采納。于2013年榮獲聯(lián)發(fā)科最高榮譽研發(fā)金獎以表彰在標準領(lǐng)域?qū)镜呢暙I。
在此之前還曾擔任MERL主任研究員、IBM客座研究員、索尼資深算法工程師等職。她曾多次擔任標準組織技術(shù)分組與專家小組的主席和聯(lián)席主席，并多次在國際頂級學術(shù)會議擔任領(lǐng)域主席、論文評審委員或做邀請報告。發(fā)表了超過 30 篇專業(yè)期刊和會議論文，是超過 200 個美國和全球?qū)＠暾埖陌l(fā)明人，其中許多發(fā)明已被授權(quán)并成為標準基本專利或被內(nèi)置于多款通信和多媒體產(chǎn)品中。是ITU-T H.265 ISO / IEC HEVC V4(定稿版本)七位主編之一。
