智能語音行業(yè)已經進入蓬勃發(fā)展的時代，隨著智能設備的逐漸增多，用戶對語音交互的需求越來越大。在AIoT時代，智能設備的自然語言交互能力成為與用戶溝通的重要一環(huán)。當用戶對智能設備產生需求并進行對話時，語音的喚醒和識別能力直接決定了用戶對設備的好感度。

依托于小愛同學、小米多款智能設備，小米持續(xù)深耕語音技術，希望在智能家庭、智能車載等豐富的使用場景之下，更進一步解放對用戶語音識別環(huán)境的條件限制，讓用戶體驗更自然、更自由、無壓力的語音交互方式，更好地理解用戶意圖，為用戶提供極致的智能語音交互體驗。

多通道端到端語音技術，讓用戶在“自由場景自由說”

目前，業(yè)內各家的近講語音喚醒和識別能力已經達到了較高的水平，在近距離、安靜的環(huán)境下，用戶與智能設備的語音交互已經基本無障礙。然而，在強噪聲干擾、強房間混響、說話距離遠、設備自身播放音源等條件下，智能設備與用戶進行連續(xù)地自然語音交互仍然具有挑戰(zhàn)性。

如何讓遠場語音性能達到和近講相近的水平，一直是困擾業(yè)界語音工程師的一大難題。鑒于此，小米語音團隊的“多通道端到端語音技術”自研能力，取得比“傳統(tǒng)多通道陣列增強模塊加單通道語音技術”更好的性能。

為了在遠場聲音中更準確的識別出目標語音，傳統(tǒng)多通道陣列增強技術會使用空間濾波或語音分離算法，但這些算法引入了較多先驗假設，在一些不符合假設的場景下，性能會明顯下降。另外，傳統(tǒng)多通道陣列處理技術是由多個技術模塊串聯組成，多個麥克風的數據會被送入回聲消除、降噪、去混響、尋向和波束形成等模塊，幾個模塊單獨進行優(yōu)化，優(yōu)化目標并不一致。

小米從2018年開始驗證端到端語音喚醒和識別的思路，目標即從充滿噪聲、混響和回聲的多個麥克風中直接學習語音特征，提升真實環(huán)境中的識別率和穩(wěn)定性。經過一系列的校驗，小米多通道端到端語音技術有三大明顯優(yōu)勢。第一，端上的計算量變小，較之前減少了50%，縮短了所有的計算路徑和時長；其次，端上的存儲量變小，在原有的基礎上大幅減少，減輕了存儲壓力；最后，“多通道端到端語音技術”直接用一個網絡中的不同級去替代之前的多個模塊，最后有一個一致的優(yōu)化目標，避免誤差的逐級傳播。整個模型用一套神經網絡表述，大幅減小系統(tǒng)設計復雜度，可以明顯降低運算負荷。從大規(guī)模訓練數據中習得的深度神經網絡，比基于傳統(tǒng)信號處理的方式，使用的先驗假設少，可以涵蓋更多的實際場景

從近講到遠場，小米自研技術拓寬了語音的想象力

據小米語音工程師介紹，盡管傳統(tǒng)信號處理具有一些方面的不足，但是其能夠較好地處理麥克風陣列信號的相位，利用物理學中樸素的法則“同向相加，異向相消”對不想要的信號分量進行抑制。因此，小米的多通道語音識別模型不僅采用了更先進的深度神經網絡，也同時繼承了傳統(tǒng)信號處理理論對相位處理的精髓，將傳統(tǒng)前端算法和深度神經網絡的優(yōu)勢進行互補，也即將傳統(tǒng)信號處理的概念進一步拓展，充分利用深度神經網絡的非線性處理能力，提出一種全神經網絡語音識別模型。

在語音識別大牛Daniel Povey加入小米后，小米的語音交互在原有的基礎上更進一步。終于讓多通道端到端語音方案性能超過了傳統(tǒng)方案。經過數據測試，多通道端到端語音技術讓遠場語音識別性能相對提升了10%，使用戶與智能設備的交互更加順暢。

從3G時代，到4G時代，再到5G時代，智能語音交互也發(fā)生著巨大的變革。多通道端到端的語音技術不僅讓用戶交互方式更加自由，同時也降低了硬件的產品功耗。從近講的喚醒識別到遠場的喚醒識別，從單通道到多通道，小米自研語音技術旨在幫助用戶在自由的場景下實現自由說的目標。未來，小米將智能語音技術落地至更多應用場景，不斷突破自研技術，為用戶提供更加極致的語音交互體驗。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。