近日，由 LiveVideoStack 舉辦的以“多媒體開(kāi)啟新視界”為主題的 LiveVideoStackCon 2020 北京站如期召開(kāi)。作為多媒體技術(shù)領(lǐng)域的盛會(huì )，大會(huì )聚焦在音頻、視頻、圖像等技術(shù)的最新探索與應用實(shí)踐，覆蓋教育、娛樂(lè )、醫療、安防、交通、制造、旅游、電商、金融、社交、游戲、智能設備、IC 等行業(yè)領(lǐng)域。會(huì )上，騰訊多媒體實(shí)驗室專(zhuān)家研究員肖瑋進(jìn)行了《騰訊天籟：“下行最后一厘米” 音頻體驗提升》主題分享，重點(diǎn)介紹了騰訊天籟如何將經(jīng)典信號處理技術(shù)與深度學(xué)習進(jìn)行有機融合，圍繞網(wǎng)絡(luò )下行終端，提升音頻體驗。

　　騰訊天籟音頻 AI 技術(shù)，打造端到端的音頻通信體驗

　　年初的疫情黑天鵝事件，讓數字通信手段成為了人與人溝通的重要手段，同時(shí)也對實(shí)時(shí)音視頻通信的穩定性和通訊效果帶來(lái)了極大考驗。肖瑋指出，為了解決實(shí)時(shí)音視頻應用場(chǎng)景下的各種挑戰，騰訊多媒體實(shí)驗室圍繞音頻通信核心體驗的技術(shù)和框架進(jìn)行了多年的探索。在今年 9 月份舉辦的騰訊全球數字生態(tài)大會(huì )上，正式發(fā)布了“面向實(shí)時(shí)音視頻應用的新一代實(shí)時(shí)音頻技術(shù)品牌”——騰訊天籟。該解決方案旨在提供實(shí)時(shí)端到端音頻通信的完整解決方案，致力于讓用戶(hù)在實(shí)時(shí)音視頻會(huì )議時(shí)可以“聽(tīng)得見(jiàn)，聽(tīng)得清，聽(tīng)得真”。

　　肖瑋表示，RTC 場(chǎng)景復雜、處理鏈條長(cháng);每個(gè)節點(diǎn)均會(huì )影響用戶(hù)的終極體驗。然而，下行終端側，是最接近于用戶(hù)的終級體驗的節點(diǎn);如果進(jìn)行合理的設計，可以非常高效地提升用戶(hù)的終極體驗。因此，騰訊天籟提出“下行最后一厘米”音頻體驗提升的概念，將經(jīng)典的音頻信號處理和深度學(xué)習技術(shù)結合，設計并實(shí)現了基于上下文分析的前向糾錯、丟包補償方案。信源側單獨可抗 40% 丟包率，整體方案可抗 80% 丟包率。用戶(hù)在弱網(wǎng)環(huán)境下的通話(huà)體驗可以獲得極大保障。

　　基于領(lǐng)先的騰訊天籟音頻解決方案，騰訊天籟不僅可以讓不同地點(diǎn)、場(chǎng)景、設備終端同時(shí)遠程接入，讓遠程線(xiàn)上溝通更加高效，并且還擴展了實(shí)時(shí)音頻的語(yǔ)音帶寬。與傳統 PSTN 電話(huà)音質(zhì)相比，使用了騰訊天籟技術(shù)后的音頻音質(zhì)更加明亮、干凈。同時(shí)，整套音頻算法能力也進(jìn)行了有針對性的優(yōu)化，可以在用戶(hù)多種客戶(hù)端進(jìn)行部署，最終提升了音頻通信的可懂度、自然度、舒適度。

　　此外，以騰訊會(huì )議為例，肖瑋現場(chǎng)展示了基于深度學(xué)習的語(yǔ)音增強方案在真實(shí)場(chǎng)景中的增強效果。在長(cháng)達兩分鐘的展示環(huán)節，分別演示了地鐵站、菜市場(chǎng)、街道等多種噪聲場(chǎng)景。在這些場(chǎng)景下，騰訊天籟基于深度學(xué)習語(yǔ)音增強方案均能提供高質(zhì)量的處理效果，現場(chǎng)展示獲得現場(chǎng)觀(guān)眾的廣泛關(guān)注。

　　另一方面，肖瑋強調了端到端質(zhì)量評價(jià)和認證體系的建立，對 RTC 場(chǎng)景下的體驗提升也是非常關(guān)鍵的。截止目前，騰訊多媒體實(shí)驗室已經(jīng)建立了完整的端到端通話(huà)質(zhì)量評價(jià)和認證體系。借助這一體系，騰訊天籟品牌下的各種技術(shù)，在產(chǎn)品落地前，均要通過(guò)該體系的嚴格測試。此外，在技術(shù)的研發(fā)過(guò)程中，該體系的測試結果，可以給研究人員提供非常重要參考信息，用于方案的打磨和優(yōu)化。

　　從技術(shù)到公益，騰訊天籟“技術(shù)外溢”的產(chǎn)品力

　　目前，騰訊天籟已經(jīng)在騰訊會(huì )議、騰訊云、全民K歌、微視等騰訊內外部產(chǎn)品、場(chǎng)景中廣泛應用落地，并助力相關(guān)應用在音視頻體驗方面取得了良好的用戶(hù)口碑。

　　不僅如此，在騰訊的一些無(wú)障礙項目交流當中，騰訊多媒體實(shí)驗室的團隊成員們了解到聽(tīng)障人士即使佩戴了人工耳蝸，在機場(chǎng)、商場(chǎng)等比較嘈雜的公共環(huán)境中，依然面臨“聽(tīng)不清”的困擾?；诖?，騰訊多媒體實(shí)驗室聯(lián)合國內最大的人工耳蝸廠(chǎng)商之一—諾爾康(Nurotron)一起展開(kāi)相關(guān)討論和研究，經(jīng)過(guò)長(cháng)達半年的技術(shù)驗證，從架構上最終確定了“手機伴侶+人工耳蝸”的聯(lián)合解決方案。通過(guò)多種技術(shù)的優(yōu)化和整合，實(shí)現了語(yǔ)音清晰度和可懂度提升 40% 的效果。經(jīng)過(guò)提升后的信號，傳遞給人工耳蝸后，可以極大改善聽(tīng)障人士的聽(tīng)覺(jué)體驗，讓聽(tīng)障人士在“聽(tīng)得見(jiàn)”的基礎上“聽(tīng)得清、聽(tīng)得真”。

　　9 月 27 日國際聾人日之際，騰訊多媒體實(shí)驗室聯(lián)合騰訊公益慈善基金會(huì )、深圳市信息無(wú)障礙研究會(huì )等機構召開(kāi)發(fā)布會(huì )，宣布發(fā)起“天籟行動(dòng)”，通過(guò)面向公益開(kāi)發(fā)者、設備廠(chǎng)商、NGO 及行業(yè)免費開(kāi)放騰訊天籟 AI 音頻技術(shù)，幫助聽(tīng)障人群解決“聽(tīng)不清”難題，并邀請歌手周深作為公益大使，呼吁全社會(huì )關(guān)注聽(tīng)障人士身心康復，構建信息無(wú)障礙環(huán)境。

騰訊天籟行動(dòng)發(fā)布

　　值得一提的是，天籟行動(dòng)并不是一次“普通”的公益實(shí)踐，而是騰訊基于“科技向善”的愿景，進(jìn)行體系化、持續性建設的科技公益落地。其背后的驅動(dòng)機制，正是騰訊技術(shù)積累的“技術(shù)外溢”，以及技術(shù)快速場(chǎng)景化落地的強大產(chǎn)品力。

　　作為騰訊旗下頂尖的音視頻通信和處理研發(fā)團隊，騰訊多媒體實(shí)驗室致力于實(shí)時(shí)音視頻通信、音視頻編解碼前沿算法研究、音視頻國際標準、計算機視覺(jué)圖像處理、端到端音視頻質(zhì)量評測。其中，天籟技術(shù)是其經(jīng)驗和技術(shù)能力積累重要成果之一。

　　在 5G 浪潮下，多媒體的技術(shù)和形式不斷發(fā)生改變，高效率低延遲的傳輸帶來(lái)了更豐富的落地場(chǎng)景。未來(lái)，騰訊天籟音頻技術(shù)也將會(huì )加速接入騰訊旗下金融、政務(wù)、教育等行業(yè)場(chǎng)景下的實(shí)時(shí)音視頻需求，讓更多更豐富的場(chǎng)景落地，為用戶(hù)帶來(lái)極具 5G 時(shí)代色彩的沉浸式體驗。
　?。?a href="http://www.ikjki.com/website/">邯鄲網(wǎng)站建設）