多語種切換語音識別首次突破！快商通&新加坡國立大學聯合論文入選ACL 2020
2020-06-24 12:47 未知 閱讀：
近日，快商通Kriston AI Lab和新加坡國立大學聯合發表的論文《Modeling Code-Switch Languages Using Bilingual Parallel Corpus（使用平行語料為中英文語碼轉換建模）》被第58屆計算語言學年會 ACL 2020 錄用，論文介紹了一種通過機器學習算法建立語言模型的方法，主要用于解決中英混合文本數據缺失問題，是語音識別領域對多語種切換語音識別的首次突破。
ACL是計算語言學和自然語言處理領域最重要的頂級會議，被CCF與清華共同列為頂級A類會議。今年，ACL共接收到超過3000篇投稿，雖未公布錄取率，但依照歷史平均錄取率23.7%來看，被收錄的論文代表了人工智能領域的世界領先水平。
多語種切換語音識別現狀：需求火熱，技術難突破
隨著全球化的演進，多語言通信成為越來越普遍的現象。例如在新加坡等東南亞地區，英語作為大部分人的第一外語，會被自然而然地穿插在以中文為主的日常交流中。相對應地，對多語種切換語音識別也成為當下火熱的需求。
然而，多語種切換語音識別一直是語音領域面臨的重要挑戰之一，最主要的原因，是因為多語種切換數據的缺失。
語音識別系統訓練，需要語音和文本兩方面的數據。通常，多語種切換的表達多在口語交流中出現，因此，文本形式的多語種切換表達資源匱乏。
使用平行語料為中英文語碼轉換建模
快商通Kriston AI Lab瞄準海外痛點需求，提出了一種基于注意力機制的雙語語言建模算法（BLAM），該算法綜合考慮兩種語言的詞序列上下文關系以及兩種語言間的語法差異。具體地，文章定義了兩種損失函數，分別用于對單一語言的語法進行約束以及對多語種切換表達的語法進行約束。然后將兩種約束用于訓練基于注意力機制的深度神經網絡模型。
這種方法，是現階段語音識別領域對多語種切換的首次突破，其算法具有以下優點：
1、兩種語言均可以作為主語語言，語碼轉換時兩種語言的比例不影響語音識別的性能；
2、語言模型混淆度（PPL）相對目前最好的多語種切換語言模型建模算法能降低20%以上，語音識別詞錯率相對目前最好的多語種切換語音識別算法能降低25%以上；
3、該算法可用于多語種切換的規范化，即，將兩個語種混雜的文本規范化為統一的語種表達；
該算法可進一步擴展，用于句子生成以及機器翻譯。
技術全球化布局，構建中國AI影響力
快商通Kriston AI Lab研究多語種切換的核心目的，是希望構建更加便利、更加人性化的語音技術能力，進而破除全球化發展難題，為用戶創造更大的價值。這一思想，與公司積極推動技術出海的戰略相吻合。
專注人工智能技術近10年，快商通Kriston AI Lab在算法原創和技術開發上都已形成深厚的積累，恰逢全球化背景，公司積極響應海外市場需求，將語音識別、自然語言處理、聲紋識別、大數據等方面的核心技術逐漸向外延伸，自2017年以來，先后在新加坡、美國硅谷、俄羅斯莫斯科建立人工智能海外研究院，與俄羅斯科學院達成技術與人才方面的戰略合作。
未來，快商通還將持續保持合作共贏的態度，以AI為核心賦能海外市場，探索中國技術國際化路徑，在世界范圍內構建中國人工智能的影響力。
注：快商通旗下Kriston AI Lab于2012年創建，專注語音識別、自然語言處理、聲紋識別大數據分析等人工智能技術的研究和應用，現由IEEE Fellow李海洲教授領導。截至2020年初，Kriston AI Lab團隊共申請發明專利400余項，榮獲國際算法權威大賽NIST SRE 2018全球前三、中國AI最高獎——吳文俊人工智能科技進步獎。
本文所有權歸屬于快商通所有，未經本公司許可，不得轉載、引用、摘錄、摘編、復制、下載、打印、傳播，否則快商通將依法追究相關行為人的法律責任。
分享到
