自 IAB 標準(SMPTE 2098系列)發(fā)布以后，Dolby、DTS 等公司相繼發(fā)布了其對于 IAB 格式 DCP/IMP 的支持和方案，Atmos、DTS:X、Auro 3D 等多種基于對象的沉浸式音頻技術(shù)，正在逐步轉(zhuǎn)向統(tǒng)一的互操作格式-IAB 。使得同一個 DCP 可以應(yīng)用到不同的沉浸式音頻系統(tǒng)上，目前該技術(shù)標準已經(jīng)在多個國家投入使用，中國大陸目前尚未開始 IAB 的普及，我們經(jīng)過多年對 IAB音頻系統(tǒng)的研究，結(jié)合 Wave D-Cinema Server 可實現(xiàn)完整的 IAB 沉浸式音頻系統(tǒng)的部署和使用，該 IAB 音頻處理器不同于傳統(tǒng)的 FPGA 方案，使用通用計算架構(gòu)，可實現(xiàn)遠超 FPGA 的音頻處理性能，同時，我們關(guān)注到從 Atmos 及其他空間音頻技術(shù)向 IAB 轉(zhuǎn)換的電影音頻工作流程需求，提供對應(yīng)的沉浸式音頻制作工具，實現(xiàn)端到端的沉浸式音頻解決方案。

　　IAB (沉浸式音頻比特流)是一種由一組 SMPTE 標準定義的技術(shù)，所有符合沉浸式音頻標準的媒體播放器都遵循該標準。這包括投影儀內(nèi)的集成媒體塊 (IMB) 和單獨的外部系統(tǒng) (SMS)。

　　IAB 的 SMPTE ST 2098 標準最初于 2018 年發(fā)布，現(xiàn)在終于被電影行業(yè)采用。因此，內(nèi)容所有者和內(nèi)容服務(wù)提供商將開始發(fā)行帶有 IAB 標簽的電影，這意味著：

　　所有使用IAB沉浸式音頻標準的電影都將使用“IAB 兼容”

　　符合 IAB 標準的音頻將在其內(nèi)容播放列表 (CPL) 中以及通過 DCP 命名約定標記為“IAB”

　　電影院的媒體播放器、影院管理系統(tǒng) (TMS) 或 SMS將開始顯示標簽“IAB”，而不是 Atmos

　　影院經(jīng)營者可能更熟悉在電影中看到 Atmos。未來將只使用 IAB

　　這不會改變 DCP 中的內(nèi)容——杜比多年來一直在推出符合 SMPTE 標準的“IAB ”DCP

　　很快，您的 TMS 和 SMS 將只顯示“IAB ”。不會顯示“Atmos”字樣。

　　這什么時候會發(fā)生？

　　目前好萊塢影片Atmos版本已按照IAB格式提供，國產(chǎn)影片尚未開始轉(zhuǎn)向IAB格式，相信在不久的將來，ATMOS和DTS都將使用IAB格式的DCP版本，影城需要確保設(shè)備準備就緒，需要確保其軟件得到更新。

　　(附圖為 ISDCF-DCNC 對 IAB 格式的命名規(guī)范)

　　關(guān)于 IAB ：IAB 代表I mmersive A udioB itstream 。比特流是一個計算機術(shù)語，簡而言之，在標準音頻系統(tǒng)中，音頻從媒體服務(wù)器(IMB)開始，進入音頻處理器，然后直接在音響系統(tǒng)中播放。

　　SMPTE ST 2098-1：沉浸式音頻 比特流 (IAB Bitstream)： 定義了用于傳輸沉浸式音頻數(shù)據(jù)的比特流格式。它支持基于聲道 (Channel-based)、基于對象 (Object-based) 的音頻表示方法，以及它們的混合使用。注意：標準的IAB 規(guī)范里沒有關(guān)于基于場景音頻的約束，任何關(guān)于 HOA 在 IAB 中的應(yīng)用都是非標準的做法，我們不建議使用 HOA 在電影院環(huán)境中。

　　基于聲道 (Channel-based)： 類似于傳統(tǒng)的環(huán)繞聲，使用預(yù)定義的揚聲器位置來錄制和播放音頻。例如 5.1、7.1 聲道等。

　　基于對象 (Object-based)： 將音頻元素(例如對話、音效)作為獨立的“對象”進行錄制和處理，并包含其在三維空間中的位置信息。播放時，渲染器會根據(jù)揚聲器的實際位置來渲染這些對象。

　　Dolby Atmos 是目前世界上使用最廣泛的 IAB 音頻品牌，Atmos 使用 VBAP(矢量幅度平移)算法進行 IAB 渲染，目前 Dolby Atmos 已經(jīng)在商業(yè)影院部署超過 7000 影廳以上。空間音頻已經(jīng)快速進入了大家的生活中，手機、汽車、電視等終端已經(jīng)支持對象聲的渲染，受限于其計算能力，專業(yè)影院的同時播放對象數(shù)量高達 118 個，而手機、汽車、電視這些終端的對象可能減少為十余個。

　　Atmos 增加了什么？

　　杜比全景聲系統(tǒng)為影廳引入了一個新概念。這個新發(fā)展被稱為“對象”。

　　Atmos 系統(tǒng)仍然包含 5.1 或 7.1 聲道。它將這些稱為 Bed Channels。

　　“Bed” 這個詞在音頻界有著悠久的傳統(tǒng)。例如，如果你和樂隊混在一起，你會聽到他們說，“讓我們放一些  Bed track 吧”。這些是歌曲中節(jié)奏和與主要旋律元素和聲的基本音軌。因此，DCP 中的 Bed Tracks 是電影音頻的基本 5.1 或 7.1 聲道。

　　而對象則不同。它是一種聲音，但沒有特定的播放通道，也沒有特定的電纜供其傳輸。

　　物體在空間中有一個位置。它需要一個 IAB 系統(tǒng)來告訴聲音物體“去往屏幕前方四米處，距離左側(cè)三米、距離天花板一米，要非常窄，但聲音要非常大。然后花 5 ms移動到 3D 空間中的其他地方，并且要非常寬”。但是這些位置可能沒有揚聲器，對吧?因為如果有的話，揚聲器會遮擋屏幕上的畫面。

　　事實上，Atmos 和其他系統(tǒng)(AuroMax和DTS:X)都有很多額外的揚聲器。問題是，較小的影廳可能只有 8 個額外的揚聲器加上床聲道，但另一個影廳可能有 20 個額外的揚聲器——而且它們被放置在禮堂的不同位置。事實上，揚聲器的總組合可以是 64 個。所以，也許那個位置有一個揚聲器，……但可能沒有。

　　要做到這一點需要大量的計算機算力來支撐。

　　IAB 基于對象的音頻是如何記錄音頻位置的？

　　IAB 最大可以 118 個對象同時渲染，這些對象是聲音在物理環(huán)境中的某個發(fā)聲單元，比如人在說話的時候，人是對象，馬路上行走汽車的噪音，天空中的飛機飛過的聲音，這都是一個個音頻對象。音頻對象位置元數(shù)據(jù)使用笛卡爾坐標系指示音頻對象的位置。使用三個正交軸(x、y、z)來定位空間中相對于所選原點的點。x 坐標應(yīng)表示左右維度，y 坐標應(yīng)表示前后維度，z 坐標應(yīng)表示上下維度，如圖 1 所示。

　　對象在空間中的位置是用笛卡爾坐標系來描述的，對于空間中的某個位置以及對象本身的大小，ST2098-1 中均有相關(guān)定義，渲染時需要按照 IAB 中描述的要求進行渲染，以保證達到制作人的目的。

　　IAB 渲染-最重要的部分：

　　(IAB 音頻播放架構(gòu))

　　SMPTE ST 2098?2 沉浸式音頻比特流 (IAB) 定義了一種用于承載沉浸式音頻的比特流。它設(shè)計了許多前瞻性功能， 其中一些功能目前不受影院IAB渲染器的支持。為了有效地開始向行業(yè)推出 IAB DCP，需要為 IAB 制定一套約定的約束。“IAB Application Profile#1” 將這些要求和支持的功能編入標準。配置文件 1 基于截至 2020 年 2 月 影院中沉浸式音頻渲染器所實施的功能。我們通常認為：杜比ATMOS遵循的渲染器約束就是“IAB Profile 1”，杜比公司提供了從ATMOS向IAB的轉(zhuǎn)換工具，影片制作工作室可無損的將ATMOS數(shù)字資產(chǎn)轉(zhuǎn)換為IAB資產(chǎn)。IAB 配置文件1規(guī)定了對最大10個床聲道、118個對象同時進行渲染的詳細約束。

　　如何將IAB沉浸音中記錄的聲音對象位置準確的在有限的影廳揚聲器布局中渲染出來是非常有挑戰(zhàn)的工作，比較推薦的做法是使用VBAP(矢量幅度平移)方法，聲音的對象從一個點到下一個點的移動速率約為5ms，每個對象的定位最少需要3只揚聲器來實現(xiàn)定位，渲染器的工作就是不斷的將聲音對象通過影廳空間最適合的三個揚聲器來重新計算每個揚聲器或者揚聲器組需要播出的音頻數(shù)據(jù)，同時，渲染器需要考慮人類聽覺的特性，進行實時的解相關(guān)運算，通過調(diào)節(jié)音頻的相位達到更佳的體驗，與傳統(tǒng)的音頻處理應(yīng)用不同，渲染器相當于將音頻工作站由工作室搬到了影廳的機房，根據(jù)不同的影廳尺寸進行密集的實時計算，單是FIR處理一項，傳統(tǒng)的DSP芯片就難以勝任，影院音頻處理呈現(xiàn)高帶寬、高算力要求。

　　Dolby的IAB處理方案采用FPGA計算平臺，與傳統(tǒng)的DSP哈佛架構(gòu)芯片不同，我們的音頻處理方案創(chuàng)新的使用通用計算平臺，結(jié)合CPU與GPU的強大計算能力，可提供超越FPGA架構(gòu)十倍的處理能力，除了音頻渲染、音頻處理外，Wave Surround解決方案支持實時進行房間混響計算，這將為較小的空間實現(xiàn)“大劇院”、“演唱會”、“大禮堂”、“巨幕廳”的聲音效果成為可能。

　　Wave Surround 支持更靈活的音響布局，支持7.1.4、5.1.4、9.1OH、11.1HT、13.1HT、9.1.6、11.1.4等靈活布局，得益于強大的計算架構(gòu)，該音頻解決方案Filter部分使用FIR高階濾波(大于1024Taps)進行音頻濾波處理，可以做到非常好的相位響應(yīng)，在類似LED電影屏的B環(huán)還音應(yīng)用中，可以靈活應(yīng)對。Wave Surround 已就相關(guān)技術(shù)申請專利保護。

　　我們的方案-Wave Surround 沉浸式終極音頻解決方案

　　從 2019 年開始，我們就在關(guān)注 IAB 音頻相關(guān)技術(shù)的發(fā)展，在Pierre-Anthony Lemieux等人的幫助與指導(dǎo)下，我們于 2024 年完成了IAB 沉浸式音頻的產(chǎn)品研究和開發(fā)工作，與我們的 Wave D-Cinema 媒體服務(wù)器一樣，我們的 IAB 音頻處理器同樣采用通用計算架構(gòu)，而不是 Dolby 的 FPGA 架構(gòu)。計算性能遠遠超過 FPGA。

　　Wave IAB Processor Features：

　　符合ST 430-10 標準的 IMB 通信要求，支持由 IMB 控制的 IAB 音頻播放管理功能

　　友好易用的 Web UI 設(shè)計，提供 Restful API 供集成

　　靈活的 DAC 布局，使用 AES67 協(xié)議，支持外置 DAC

　　符合 ST2098 系列 IAB 標準，支持多達十余種揚聲器布局

　　全 LCD 觸控屏操作，無物理實體按鍵

　　支持 OTA，可通過軟件更新提升硬件價值

　　支持低音陣列及低音管理

　　可靈活使用 IIR/FIR 分頻和濾波，F(xiàn)IR 可支持更高 Taps 濾波，超越專業(yè)級音頻設(shè)備的品質(zhì)

　　徹底解決 LED 電影屏透聲問題，使用 高階FIR提供極好的相位響應(yīng)。

　　支持自動 EQ 校準

　　最大可支持輸出 128 路數(shù)字音頻

　　最后：

　　使用通用架構(gòu)進行IAB音頻處理是一項充滿挑戰(zhàn)的工作，在麥克盧漢卓越研究開發(fā)團隊的不懈努力下，該IAB音頻解決方案得以成功通過試驗，我們歡迎國際、國內(nèi)音頻產(chǎn)業(yè)的相關(guān)公司參與共創(chuàng)合作，Wave Surround 計劃將IAB的制作、渲染、音頻處理等核心代碼開源，如有對空間音頻、數(shù)字影院音頻處理感興趣的團隊，可通過公眾號與我們聯(lián)系，共同打造極致的媒體娛樂體驗。