智能語(yǔ)音客服行業(yè)作為人工智能技術(shù)較早實(shí)現(xiàn)商業(yè)化落地的領(lǐng)域，吸引了眾多企業(yè)爭(zhēng)相布局。目前，隨著智能語(yǔ)音客服機(jī)器人大規(guī)模應(yīng)用到實(shí)際生產(chǎn)環(huán)境中，語(yǔ)音通話數(shù)據(jù)生成快速，體量浩大，模態(tài)繁多，且由于ASR識(shí)別魯棒性不夠，導(dǎo)致智能語(yǔ)音客服機(jī)器人表現(xiàn)還不盡如人意，分析主要原因，有以下幾方面：
�。�1）音頻采集環(huán)境復(fù)雜
音頻采集環(huán)境復(fù)雜，主要包括了，背景包含多種噪聲，性噪比SNR過(guò)低；音頻采集通道性能不合格，不能過(guò)濾掉不相干的信號(hào)，使得有效信息丟失或者不足。
�。�2）測(cè)試數(shù)據(jù)和訓(xùn)練模型的數(shù)據(jù)不匹配
測(cè)試數(shù)據(jù)和訓(xùn)練模型的數(shù)據(jù)不匹配，主要有性別，年齡，說(shuō)話人情緒，口音影響等因素為音頻的識(shí)別帶來(lái)了很大的困惑性，導(dǎo)致不能正確解碼。
�。�3）說(shuō)話人非標(biāo)準(zhǔn)表達(dá)
說(shuō)話人非標(biāo)準(zhǔn)表達(dá)，即自發(fā)性口語(yǔ)識(shí)別問(wèn)題，由于在實(shí)際生活中，說(shuō)話人在表達(dá)時(shí)，會(huì)存在遲疑，重復(fù)，停頓等多種自發(fā)性口語(yǔ)現(xiàn)在，同時(shí)，還可能在說(shuō)話時(shí)夾雜著外語(yǔ)詞匯或者不常見(jiàn)的獨(dú)有詞匯。
ASR系統(tǒng)要應(yīng)用于實(shí)際生產(chǎn)環(huán)境中，不僅要適應(yīng)各類(lèi)緩變?cè)肼�，而且必須在噪聲�?qiáng)度和種類(lèi)多變的情況下保持穩(wěn)定性能；除聲學(xué)環(huán)境噪聲因素外，還需面對(duì)說(shuō)話人存在的口音和方言以及說(shuō)話人說(shuō)話方式的隨意性等因素。
2.模型
智能語(yǔ)音客服應(yīng)用于通信系統(tǒng)，典型的會(huì)話信道大約只有40%的時(shí)間真正用于傳輸語(yǔ)音，其余的時(shí)間傳輸?shù)亩际庆o默和背景噪聲。因此，需要在ASR前端采用一個(gè)語(yǔ)音端點(diǎn)檢測(cè)器VAD來(lái)區(qū)分語(yǔ)音和靜默以及背景噪聲，通過(guò)提高ASR系統(tǒng)資源的利用率擴(kuò)大ASR系統(tǒng)的并發(fā)識(shí)別容量。
同時(shí)，由于處理的數(shù)據(jù)量越來(lái)越大，需要處理的規(guī)模越來(lái)越大，從工程實(shí)現(xiàn)以及部署成本而言，還需綜合考慮多路并行處理、實(shí)時(shí)性、易實(shí)現(xiàn)、資源占用情況以及大規(guī)模實(shí)現(xiàn)等諸多關(guān)鍵因素，設(shè)計(jì)實(shí)現(xiàn)大規(guī)模電話語(yǔ)音識(shí)別前端實(shí)時(shí)處理系統(tǒng)，完成對(duì)多路實(shí)際電話信道語(yǔ)音的實(shí)時(shí)處理，滿足在大規(guī)模電信網(wǎng)中的應(yīng)用需求。
除實(shí)現(xiàn)大規(guī)模電話語(yǔ)音識(shí)別前端實(shí)時(shí)處理系統(tǒng)外，還需使系統(tǒng)具備一定的容錯(cuò)性，確保在語(yǔ)音信號(hào)段判決錯(cuò)誤的情況下通過(guò)聲學(xué)拒識(shí)決定是否接受ASR識(shí)別后文本，并且要通過(guò)句間停頓時(shí)間自適應(yīng)調(diào)整清晰定義句子邊界，從而大大降低ASR的計(jì)算量和處理時(shí)間，提高系統(tǒng)的識(shí)別精度。
通過(guò)對(duì)大量電話系統(tǒng)語(yǔ)音進(jìn)行統(tǒng)計(jì)分析得出90%以上話路的語(yǔ)音信噪比大于10dB，個(gè)別話路信噪比相對(duì)較低，存在各式各樣的噪聲，甚至有些環(huán)境下信噪比為0dB左右。基于此，本方案分兩級(jí)對(duì)電話信道語(yǔ)音進(jìn)行檢測(cè)。首先在時(shí)域進(jìn)行一級(jí)處理，判決出疑似語(yǔ)音幀和非語(yǔ)音幀，將疑似語(yǔ)音的幀交由二級(jí)進(jìn)行頻域處理。因?yàn)槎?jí)判決是在一級(jí)判決的基礎(chǔ)上完成，只用對(duì)一級(jí)處理后疑似語(yǔ)音的幀進(jìn)行判決，對(duì)同一目標(biāo)話路的檢測(cè)，相對(duì)只通過(guò)一級(jí)檢測(cè)所需的計(jì)算數(shù)據(jù)量明顯減少，為整個(gè)系統(tǒng)的其他處理模塊提供更多的可支配時(shí)間，提高系統(tǒng)實(shí)時(shí)性。
二級(jí)VAD檢測(cè)實(shí)現(xiàn)對(duì)電話語(yǔ)音流標(biāo)識(shí)通話狀態(tài)，分為會(huì)話靜默、會(huì)話開(kāi)始、會(huì)話進(jìn)行中以及會(huì)話結(jié)束4類(lèi)。并且，在二級(jí)VAD檢測(cè)實(shí)現(xiàn)時(shí)增加幀特征參數(shù)提取模塊、且在進(jìn)行特征計(jì)算時(shí)調(diào)用特征參數(shù)提取部分中間運(yùn)算模塊（如FFT運(yùn)算模塊），以此減少整個(gè)語(yǔ)音處理系統(tǒng)的資源消耗。
3.數(shù)據(jù)處理及分析
目前，正在收集標(biāo)注這樣一個(gè)數(shù)據(jù)集。數(shù)據(jù)集分為干凈語(yǔ)料、聲學(xué)環(huán)境噪聲語(yǔ)料、口音方言語(yǔ)料以及雙聲道通話語(yǔ)料，其中干凈語(yǔ)料、聲學(xué)環(huán)境噪聲語(yǔ)料和口音方言語(yǔ)料需要通過(guò)人工標(biāo)注收集。
�。�1）聲學(xué)拒識(shí)
首先，基于特征規(guī)則來(lái)輔助人工收集聲學(xué)拒識(shí)語(yǔ)料庫(kù)（干凈語(yǔ)料、聲學(xué)環(huán)境噪聲語(yǔ)料、口音方言語(yǔ)料），減少人工標(biāo)注的工作量，并構(gòu)造一個(gè)語(yǔ)音大數(shù)據(jù)信息處理工具，應(yīng)對(duì)機(jī)器學(xué)習(xí)的不確定性，通過(guò)多試快速迭代出語(yǔ)音大數(shù)據(jù)信息處理工具，便于通過(guò)該工具方便地添加新數(shù)據(jù)、新特征，并快速訓(xùn)練出一個(gè)新模型通過(guò)海量的拒識(shí)語(yǔ)料來(lái)進(jìn)行性能指標(biāo)測(cè)試；然后，基于高斯混合模型GMM算法和支持向量機(jī)SVM算法等機(jī)器學(xué)習(xí)算法，并結(jié)合語(yǔ)音大數(shù)據(jù)信息處理工具提取出來(lái)的多種語(yǔ)音特征值，在語(yǔ)音識(shí)別前端，開(kāi)發(fā)實(shí)現(xiàn)一種復(fù)雜環(huán)境下準(zhǔn)確性和穩(wěn)定性較高的聲學(xué)拒識(shí)算法。
采取的方案以及方案要適用多類(lèi)條件識(shí)別情況，不僅適用于口音方言的語(yǔ)音識(shí)別問(wèn)題，還需適用于復(fù)雜背景噪聲環(huán)境識(shí)別問(wèn)題等。
（2）句間停頓時(shí)間自適應(yīng)
基于電話庫(kù)中的自然口語(yǔ)對(duì)話中存在各種各種各樣的話輪轉(zhuǎn)換形式，并且有大量的疊接現(xiàn)象（搶話）。通過(guò)基于雙聲道通話語(yǔ)料進(jìn)行智能客服交互場(chǎng)景下的疊接現(xiàn)象分析，研發(fā)一種可根據(jù)預(yù)估思考時(shí)間、話輪意圖、環(huán)境音感知的句間停頓自適應(yīng)調(diào)整機(jī)制，實(shí)現(xiàn)智能語(yǔ)音客服通過(guò)和人類(lèi)一樣的非對(duì)稱對(duì)話模式協(xié)調(diào)與人類(lèi)進(jìn)行全雙工語(yǔ)音交互，減少用戶感知的等待時(shí)間，及時(shí)響應(yīng)話者意圖。
