Audio 就是矯情!

 

“聽  海哭的聲音  這片海未免也太多情   悲泣到天明"

是低,大家都知道是阿妹經典到不行的歌,但是如果阿妹聲音播不出來,那哭的人就換成是我而不是那片海了 Orz !

請大家先從阿妹的歌聲裡 (或是我的哭聲?) 回到現實來,聽我來聊聊 Firefox OS 裡聲音的部分。基本上聲音系統裡可以簡單分成兩種,一種是 voice 另一種則是 audio,簡單的分法就是"講電話" (voice) 跟"玩手機" (audio)。玩手機又可以分成播放 (playback) 和錄音 (record) 兩種,本篇把焦點會放在 audio playback 的部分,換句話說就是手機播放聲音的功能!事實上,audio 牽扯很多相關的功能,像是 Modem、Bluetooth、FMRadio 等,而且有時候你叫 audio 播,他還真的給你裝作沒聲音;有時候你不想要 audio 播,他卻跑出聲音來!我只能學宮廷劇的華妃來一句 – audio 就是矯情!(尾音升高 =.=)

 

從 FxOS (Firefox OS 的縮寫,本篇台客文章之後均用此縮寫) 大架構來分,audio 可以分成 Gaia layer / Gecko layer / Gonk layer ; 從 FxOS 播放來講,Gaia app 可以使用 audio element 來對 audio 進行播放、暫停等操作。來來來,你來,是叫你來一起看大架構啦:

 

[Gaia layer]  以下舉例說明使用一個 audio element,至於如何使用 audio API,可以到 MDN 上查一查喔!

 

[Gecko layer] 接下來 audio 檔案會被 decode 成 PCM data,然後往 audio back-end 傳送。

鄉民說沒圖沒真相,為了讓大家了解 FxOS 發出聲音的真相,放上兩張野生的 Gecko 的 audio 架構圖。

Audio8 Audio3

從這兩張圖來看 audio 的 data 流動,左半邊的圖,我們看到在 MediaDecoderStateMachine 會產生一個 audio thread 負責把 decode 完的 PCM data 往 AudioStream 塞;右半邊的圖,我們看到會產生一個 AudioStream 的 instance,且在 AudioStream::Init() 的階段,會將 stream type、channel number、sample rate 等資訊帶到 audio back-end 去。以下對幾個 component 稍加說明。

a) HTMLMediaElement: 是HTMLAudioElement 的 parent class,會提供 audio element 的基本操作像是 audio.play() 或是 audio.pause() 的具體實作。

b) MediaDecoder/MediaDecoderStateMachine: MediaDecoder 中有個 MediaReader 負責 decode 不同類型的 audio 檔案成 PCM data,而在  MediaDecoderStateMachine 會處理不同的 decode 狀態,然後使用 AudioLoop 叫 AudioStream 去存取 decode 完成的資料。

c) AudioStream: 維護一個 buffer,使用 SetCapacity() 設定存放 n 秒的 buffer 大小,利用 PopElements()  & AppendElements() 兩個 function 來操作這一個 circular buffer 的讀取和寫入。

d) Lib Cubeb: 提供一組 file operation 讓 audio stream object 可以和不同的 audio back-end 溝通。(FxOS 目前是使用 Android 的 OpenSL NDK lib 當成 back-end )

 

[Gonk layer] 使用 Android AudioTrack/AudioFlinger 和 ASOC audio driver 將 digital PCM轉成 analog 訊號往正確的 output device 傳送。

a) OpenSL ndk: Android 提供的一個實作 OpenSL 的 API 的 library,FxOS 使用 OpenSL ndk 而不直接使用 AudioTrack 的原因 – 這樣就不會因為 Android 版本的改動而需要修改 Gecko 相關的 code。

b) AudioTrack & AudioFlinger: Android Audio back-end! 維護一個 circular shared memory buffer,在 plackback 部分,AudioTrack 主要負責"寫" PCM data 到 buffer 裡;而 AudioFlinger 主要負責從 buffer 裡"讀" PCM data,然後把 PCM data 送給 Android HAL 的 AudioHardware 。

c) Android HAL: Android 提出的一組硬體抽象層,透過 ALSA API (或是 Tiny ALSA API)  來對 ASOC audio driver 提供的 File Operation 來進行操作。然後將 digital 訊號轉成 analog 訊號,往 output device 硬體輸出。

 

Audio10

[後記]

除了上面提到的 audio playback 的部分外,像是跟 connection device (像是 Bluetooth headset – A2DP / SCO 或是有線耳機) 和 phone state 相關的 AudioManager 也是一個有趣的 topic (但是不是在本篇聊 ^.^)。另外 audio competing policy 的 audio channel service / agent 、audio policy service + audio policy manager (決定 routing path) 也都是可以好好聊聊的 topics。最後,如果對這些 audio 的 component 的熟悉度有提升的話,我想 audio 就沒辦法矯情了, 也可以快速地找到 bug 的 root cause了 🙂

 

[1] cubeb.c 負責接不同的 audio back-end (http://dxr.mozilla.org/mozilla-central/source/media/libcubeb/src/cubeb.c?from=cubeb.c&case=true#51)

您可能也會喜歡

目前找不到相關文章

共 1 則讀者回應

對此文章發表回應

你的電子郵件位址並不會被公開。 必要欄位標記為 *