●升級(jí)后的NDI 5相較于之前的NDI技術(shù)，您認(rèn)為影響最深遠(yuǎn)的是哪個(gè)方面？

對(duì)于NDI 5，首先，我認(rèn)為最有深遠(yuǎn)影響的改進(jìn)之一就是對(duì)RUDP的支持。或者說，從NDI 5開始，NDI的傳輸方式發(fā)生了翻天覆地的變化。我們知道，在NDI 5之前，NDI默認(rèn)采用的是multi-TCP的傳輸方式，也是官方最推薦的傳輸方式（雖然它也支持UDP和Multicast傳輸，但是這并不是官方推薦的，我們已知它們存在很多問題）。TCP的傳輸方式雖然可靠，但是它對(duì)網(wǎng)絡(luò)帶寬的利用效率是比較低的；這在無線網(wǎng)絡(luò)、Internet等傳輸穩(wěn)定性較差的環(huán)境下，TCP傳輸?shù)男适欠浅５偷摹@會(huì)帶來很多的問題，最典型的是傳輸?shù)膶?shí)時(shí)性會(huì)受到影響。

NDI 5引入了新的RUDP傳輸機(jī)制–QUIC。RUDP在傳輸穩(wěn)定性較差的網(wǎng)絡(luò)環(huán)境下，表現(xiàn)要優(yōu)于TCP——它基于UDP，所以它具備UDP的簡(jiǎn)單、低延時(shí)等特點(diǎn)，又因?yàn)樗捎昧伺cTCP相似的擁塞控制/數(shù)據(jù)重傳機(jī)制，它又具備TCP一樣的傳輸可靠性。因此，這是一次具有革命性的改進(jìn)。從直觀的感受上，我們會(huì)發(fā)現(xiàn)，采用RUDP傳輸?shù)腘DI SDK在傳輸上更穩(wěn)定、實(shí)時(shí)性更強(qiáng)了。

●升級(jí)后的NDI 5首次支持Apple系統(tǒng)，您認(rèn)為這在NDI未來的應(yīng)用上有何意義？

NDI 5真正做到了全平臺(tái)（Windows, Linux, MacOS, Android …）的統(tǒng)一和運(yùn)行在不同架構(gòu)的CPU上（雖然到目前為止，它還存在這樣那樣的一些小問題，但這不影響NDI統(tǒng)一全平臺(tái)的“野心”）。這意味著，NDI既可以運(yùn)行在x86架構(gòu)的Windows/Linux/MacOS平臺(tái)上，也可以運(yùn)行在ARM架構(gòu)的基于M1的Mac Mini/Mac Book上，以及iOS和Android之上，以及各種基于ARM的嵌入式系統(tǒng)之上……總之，NDI全平臺(tái)統(tǒng)一了。這是非常令人興奮的，NDI既可以運(yùn)行在高端的服務(wù)器上，也可以運(yùn)行在普通的嵌入式設(shè)備上。我們可以預(yù)期到無數(shù)多種可能，未來在市場(chǎng)上將會(huì)出現(xiàn)各種各樣形態(tài)的NDI產(chǎn)品和設(shè)備。

●那除了引入新的傳輸機(jī)制和支持接入Apple系統(tǒng)，您認(rèn)為NDI 5還有哪些其他優(yōu)勢(shì)？

NDI 5正在向我們傳遞一個(gè)非常重要的信號(hào)：NDI 5正在面向互聯(lián)網(wǎng)、面向遠(yuǎn)程視頻傳輸和制作。我們知道NDI 5提供了Bridge工具、Remote工具，同時(shí)也改進(jìn)了傳輸協(xié)議、做了一系列的傳輸優(yōu)化、還有就是持續(xù)在改進(jìn)NDI|HX。這一切都在告訴我們，未來，NDI將不再只是適合于局域網(wǎng)內(nèi)的視頻傳輸，它正在積極在面向互聯(lián)網(wǎng)傳輸、面向遠(yuǎn)程制作、面向Web。

這里還有一個(gè)大家沒太留心的問題已經(jīng)得到了改進(jìn)，那就是安全性問題。在第一點(diǎn)我們提到，NDI5的傳輸方式改成了QUIC，而QUIC是天生具有較高等級(jí)的加密能力的。這一點(diǎn)非常重要，特別是面向互聯(lián)網(wǎng)的應(yīng)用。當(dāng)然，必須很坦率地說，NDI在安全性方面還需要有一些加強(qiáng)，就算是NDI5，這也還是一個(gè)問題。

NDI 5在音頻的部分做了很多的改進(jìn)，通過NDI? Audio Direct，可以將NDI源兼容到幾乎所有的音頻軟件、應(yīng)用程序，并且還允許客戶自定義選擇、接收和生成接近零延遲的多通道音頻，讓您擺脫麻煩的硬件混音器。然而很坦率地說，Kiloview在音頻部分的研究不是很深入，所以我們還不能說出太多的所以然來。但是NDI完全可以實(shí)現(xiàn)一個(gè)完整的基于IP的音頻體系——誰說不能呢？我也很期待和大家進(jìn)行交流。

●另外，NewTek除了發(fā)布NDI 5之外，還推出了NDI|HX3，你可以給我們介紹一下嗎？

是的，NDI 5新發(fā)布了NDI|HX3標(biāo)準(zhǔn)。這是一個(gè)具有長(zhǎng)遠(yuǎn)意義的事情。我們知道NDI High-bandwidth具有很好的實(shí)時(shí)性，然而畫面質(zhì)量以及帶寬消耗卻一定程度上不那么理想；而NDI HX/HX2采用H.264/H.265的編碼，可以很好地解決帶寬問題，然而延時(shí)和色彩質(zhì)量又受到了制約。

現(xiàn)在，NDI|HX 3似乎在影音傳輸質(zhì)量與帶寬之間找到了一種平衡。NDI|HX3 仍然采用H.264/H.265編碼，但是它建議H.264/H.265編碼的GOP為1或2——也就是說，它建議最好是每一幀都是H.264/H.265的關(guān)鍵幀，或者最多隔一幀就產(chǎn)生一個(gè)關(guān)鍵幀。這樣一來，它就和NDI High-bandwidth相似，它可以很好地對(duì)抗網(wǎng)絡(luò)丟包帶來的影響。通俗地說，網(wǎng)絡(luò)丟包？沒關(guān)系，我放棄丟失的這一幀，下一幀我還能馬上恢復(fù)圖像！

這樣看來，NDI|HX3與NDI High-bandwidth的圖像壓縮機(jī)制非樣相似。但是，H.264/H.265的幀內(nèi)編碼的效率會(huì)比NDI High-bandwidth高許多——因?yàn)镠.264/H.265的幀內(nèi)編碼包括幀內(nèi)預(yù)測(cè)、子（宏）塊運(yùn)算處理等能力，這是NDI High-bandwidth壓縮算法所不具備的，它帶來的直接好處就是（和NDI High-bandwidth相比）在同等圖像質(zhì)量下，壓縮率更高、碼率更低；反之，在同等碼率條件下，圖像質(zhì)量比NDI High-bandwidth高不少。

采用H.264/H.265編碼算法，在圖像質(zhì)量上還一個(gè)優(yōu)勢(shì)是它的去塊效應(yīng)濾波能力。這是H.264/H.265標(biāo)準(zhǔn)的組成部分。在碼率較低、或者畫面運(yùn)動(dòng)劇烈的場(chǎng)景下，視頻畫面容易“起馬賽克”，這是我們很多人都有過的直觀感受。NDI High-bandwidth算法為了達(dá)到它的“簡(jiǎn)單快速“的目的，缺少去塊效應(yīng)濾波環(huán)節(jié)，因此，在像4K這樣的高分辨率條件下，我們很容易觀察到NDI High-bandwidth的馬賽克現(xiàn)象；然而使用NDI|HX3，這種情況會(huì)得到有效的避免，進(jìn)一步提升了視頻的主觀質(zhì)量。

●除了NDI優(yōu)勢(shì)之外，那您認(rèn)為NDI 5還有哪些需要改進(jìn)的地方呢？

如果要說NDI5一些不盡如意的地方，我想主要有以下幾點(diǎn)：

一、NDI High-bandwidth的畫面質(zhì)量，尤其是在4K分辨率下，還是略微差了一點(diǎn)。這似乎是一個(gè)很大的挑戰(zhàn)，甚至說未來要從NDI|HX3上去找答案。

二、安全性。我們知道NDI是即插即用的，在視頻的連接、獲取過程中是完全沒有鑒權(quán)機(jī)制的。如果在一個(gè)專有的局域網(wǎng)內(nèi)，這或許不是太大的問題。然而隨著它越來越開放、要面向互聯(lián)網(wǎng)的應(yīng)用場(chǎng)景，這個(gè)問題需要得到很好的解決才行。

三、使用軟件進(jìn)行NDI編碼的性能，相對(duì)于解碼來說，它還是差了很多。這當(dāng)然有它自身的技術(shù)實(shí)現(xiàn)的原因，但這制約了我們不少的實(shí)際應(yīng)用。這特別表現(xiàn)在ARM處理上，在很多的嵌入式ARM處理器上，它實(shí)現(xiàn)了NDI的軟件編碼，仍然還是很吃力的。在實(shí)際的（大的）生產(chǎn)環(huán)境中，因?yàn)檫@會(huì)涉及到很多的環(huán)節(jié)，所以，我們不能簡(jiǎn)單地理解：NDI5能幫助我們搞定一切嗎？——不，這不太現(xiàn)實(shí)。這需要一個(gè)生態(tài)，需要一系列的產(chǎn)品來加以支撐。這些產(chǎn)品可能來自于NewTek，也可能需要來自于許多的第三方產(chǎn)商，甚至有的產(chǎn)品到目前為止還沒有面世呢，由它們來共同來支撐整個(gè)制作過程。

●您剛剛也介紹了，NDI 5現(xiàn)在支持面向遠(yuǎn)程、互聯(lián)網(wǎng)，那它是如何實(shí)現(xiàn)的呢？

NDI 5提供NDI Bridge和NDI Remote等工具，并且改進(jìn)了傳輸協(xié)議，NDI Bridge能夠幫助用戶通過簡(jiǎn)單的網(wǎng)絡(luò)設(shè)置，實(shí)現(xiàn)在世界上任何地方的NDI信號(hào)源互通。這將意味著，制作團(tuán)隊(duì)能最大程度地節(jié)省視頻傳輸?shù)臅r(shí)間成本和設(shè)備成本，獲取最新鮮的的原生態(tài)視頻畫面，搭建真正的“遠(yuǎn)程工作間”。

NDI Remote能夠幫助用戶通過共享鏈接與所有的遠(yuǎn)程用戶進(jìn)行實(shí)時(shí)互動(dòng)，并可通過互聯(lián)網(wǎng)隨時(shí)接收世界上任何地方的音視頻源到制作端的所有硬件設(shè)備或軟件程序。這一切都在告訴我們，未來，NDI將不再只是局限于局域網(wǎng)內(nèi)的視頻傳輸，它正在積極在面向互聯(lián)網(wǎng)傳輸、面向遠(yuǎn)程制作、面向Web。

●同樣是面向遠(yuǎn)程、互聯(lián)網(wǎng)，在SRT和NDI 5兩者之間，我們應(yīng)該如何權(quán)衡選擇呢？

如果僅僅從技術(shù)的角度上去看待NDI和SRT，那么它們各有千秋、都是一些非常棒的技術(shù)。它們也都擁有非常廣泛的支持者、具有很大的影響力。在面向互聯(lián)網(wǎng)應(yīng)用這一個(gè)角度上，SRT甚至具有一些鮮明的優(yōu)勢(shì)，比如說極低的延時(shí)、更好的安全性、更靈活的握手/連接方式、很好的可靠性、多路徑(multi-path)傳輸……等等。

當(dāng)然我想各位一定會(huì)從一個(gè)更高的層面上去看待問題——用戶在使用NDI或者SRT，肯定會(huì)根據(jù)各自的工作模式及使用習(xí)慣，去思考哪個(gè)技術(shù)生態(tài)更完整？產(chǎn)品更豐富？體系更成熟？支持這項(xiàng)技術(shù)的廠商更多、推動(dòng)力更強(qiáng)？作為使用者，在這其中哪個(gè)能讓我們更加受益？從這一角度來分析，我想大家就會(huì)有答案了。

●NDI|HX 3相對(duì)于以前的NDI技術(shù)來說，在畫面質(zhì)量和帶寬之間達(dá)到一種趨于完美的平衡，那壓縮的畫面質(zhì)量與哪些因素有關(guān)呢？

NDI在1080p或更小一些的分辨率下，畫面質(zhì)量是比較不錯(cuò)的。不過，請(qǐng)大家一定要理解，NDI是有損壓縮的。在約束的bitrate條件下（典型的1080p在130Mbps左右，4K在250Mbps左右），畫面質(zhì)量會(huì)受到諸如畫面內(nèi)容的復(fù)雜程度、運(yùn)動(dòng)的劇烈程度、噪點(diǎn)、內(nèi)容變化的程度等很多條件的影響，打個(gè)比方，就像你用Photoshop這樣的軟件處理一張圖片，如果你約束一張圖片的大小必須是1M Bytes，那么圖片細(xì)節(jié)越豐富、越復(fù)雜的照片，保存的圖片可能就會(huì)越模糊、細(xì)節(jié)丟失越多；反之，圖片背景簡(jiǎn)單、色彩變化不大的照片就會(huì)越清晰。NDI的壓縮是相同的原理。—— 在大多數(shù)的情況下，NDI視頻的質(zhì)量都是不錯(cuò)的；但在面向一些細(xì)節(jié)特別復(fù)雜、運(yùn)動(dòng)十分劇烈的場(chǎng)景下，NDI圖像質(zhì)量也會(huì)有一些不足，這是一個(gè)事實(shí)。

●對(duì)于大多數(shù)用戶來說，都十分關(guān)心視頻傳輸?shù)难舆t性，那NDI 5在延遲、圖像質(zhì)量等方面的真實(shí)測(cè)試結(jié)果是什么，可以給我們介紹一下嗎？

延時(shí)在開啟Low latency模式的時(shí)候，大約在80ms左右、在視頻源為60fps幀率的條件下實(shí)測(cè)結(jié)果。這取決于視頻源的幀率，如果幀率越低，延時(shí)可能會(huì)更大一些。

理論上說，NDI的延時(shí)還可以更低一些，但這受到NDI同步機(jī)制的影響，所以80ms是一個(gè)比較真實(shí)的結(jié)果。市面上有一些廠商會(huì)宣傳說，他們的延時(shí)可以低到2~3 幀，那只是一些假設(shè)或特定條件下的特定結(jié)果，并不具有代表性。

●你認(rèn)為NDI?5未來的發(fā)展趨勢(shì)會(huì)怎樣，您能跟我們分享一下嗎?

一、面向互聯(lián)網(wǎng)和遠(yuǎn)程制作，這一定會(huì)是未來的趨勢(shì)。在這條路上，NDI還需要解決一些實(shí)質(zhì)性的問題，比如說連接握手的機(jī)制、安全性、身份驗(yàn)證、防火墻/NAT穿透，等等。

二、在面向互聯(lián)網(wǎng)的遠(yuǎn)程制作的這條道路上，NDI|HX (包括HX2和HX3）將會(huì)顯得格外重要，因?yàn)橹挥胁捎肏.264/H.265壓縮，才有可能讓碼率降下來、適應(yīng)互聯(lián)網(wǎng)環(huán)境下的帶寬條件。

三、NDI還需要更開放、吸引更多的廠商和用戶加入這個(gè)生態(tài)；NDI所面向的行業(yè)，也應(yīng)該從廣播電視、中小型工作室等領(lǐng)域拓展到其它更多的領(lǐng)域，比如說數(shù)字標(biāo)牌、KVM、醫(yī)療、智能家居……等等。這是完全有可能的，但NDI的官方也需要更加開放。

四、NDI極有可能成為一種面向云端視頻業(yè)務(wù)的基礎(chǔ)的Video&Audio I/O標(biāo)準(zhǔn)。我們知道，在面向桌面的視頻制作系統(tǒng)中，視頻采集卡、視頻輸出卡，這是基帶視頻信號(hào)進(jìn)入制作系統(tǒng)的必須的基礎(chǔ)I/O設(shè)施；那么，在云端，一切變成虛擬化，視頻的I/O沒有別的選擇、它只能基于網(wǎng)絡(luò)。因此，NDI完全可以成為基于云端網(wǎng)絡(luò)的視頻I/O的標(biāo)準(zhǔn)規(guī)范——這一方面，千視Kiloview已經(jīng)進(jìn)行了很多的嘗試，它表現(xiàn)得非常棒。

人物介紹：

左振宇

高級(jí)工程師

畢業(yè)于國(guó)防科技大學(xué)計(jì)算機(jī)專業(yè)

NewTek官方合作商千視電子的研發(fā)總監(jiān)兼創(chuàng)始人，深耕音視頻編碼、網(wǎng)絡(luò)傳輸、媒體處理、圖像識(shí)別和人工智能等技術(shù)領(lǐng)域20余年。關(guān)注行業(yè)技術(shù)發(fā)展，研究NDI技術(shù)多年，將理論結(jié)合實(shí)際，帶領(lǐng)團(tuán)隊(duì)推陳出新，研發(fā)的多款音視頻IP化傳輸設(shè)備暢銷全球100多個(gè)國(guó)家和地區(qū)。

NDI作為現(xiàn)在應(yīng)用最火熱的視頻IP技術(shù)，已經(jīng)升級(jí)到了第五代，升級(jí)后的NDI 5成為面向遠(yuǎn)程、互聯(lián)網(wǎng)及后期制作的新一代音視頻IP技術(shù)，那和SRT相比，兩者在使用上應(yīng)該如何選擇呢？而升級(jí)后的NDI 5優(yōu)勢(shì)和痛點(diǎn)分別體現(xiàn)在什么地方？NDI 5未來的發(fā)展趨勢(shì)優(yōu)勢(shì)又會(huì)如何？針對(duì)這些問題，我們邀請(qǐng)了千視電子總經(jīng)理左振宇先生與我們一起交流探討。