語(yǔ)音合成技術(shù)及國(guó)內(nèi)外發(fā)展現(xiàn)狀
王仁華 中國(guó)科學(xué)技術(shù)大學(xué)
一 語(yǔ)音合成技術(shù)簡(jiǎn)介
-----語(yǔ)音識(shí)別和語(yǔ)音合成技術(shù)是實(shí)現(xiàn)人機(jī)語(yǔ)音通信，建立一個(gè)有聽和講能力的口語(yǔ)系統(tǒng)所必需的兩項(xiàng)關(guān)鍵技術(shù)。使電腦具有類似于人一樣的說(shuō)話和聽懂人說(shuō)話的能力，是90年代信息產(chǎn)業(yè)的重要競(jìng)爭(zhēng)市場(chǎng)。和語(yǔ)言識(shí)別相比，語(yǔ)言合成的技術(shù)相對(duì)說(shuō)來(lái)要成熟一些，是該領(lǐng)域中近期最有希望產(chǎn)生突破并形成產(chǎn)業(yè)化的一項(xiàng)技術(shù)。
-----語(yǔ)言合成或者讓計(jì)算機(jī)說(shuō)話包含著二個(gè)方面的可能性:一是機(jī)器能再生一個(gè)預(yù)先存入的語(yǔ)音信號(hào)，就象普通的錄音機(jī)一樣，不同之處只是采用了數(shù)字存儲(chǔ)技術(shù)。簡(jiǎn)單地將預(yù)先存入的單音或詞組拼接起來(lái)也能作到“機(jī)器開口”， 但是“一字一蹦”，機(jī)器味十足，人們很難接受。然而如果預(yù)先存入足夠的語(yǔ)音單元，在合成時(shí)采用恰當(dāng)?shù)募夹g(shù)手段挑選出所需的語(yǔ)音單元拼接起來(lái)，也有可能生成高自然度的語(yǔ)句，這就是波形拼接的語(yǔ)音合成方法。為了節(jié)省存儲(chǔ)容量，在存入機(jī)器之前還可以對(duì)語(yǔ)音信號(hào)先進(jìn)行數(shù)據(jù)壓縮。另一種可能是采用數(shù)字信號(hào)處理的方法，將人類發(fā)聲過(guò)程看作是一個(gè)模擬聲門狀態(tài)的源，去激勵(lì)一個(gè)表征聲道諧振特性的時(shí)變數(shù)字濾波器，這個(gè)源可能是周期脈沖序列，它代表濁音情況下的聲帶振動(dòng)，或者是隨機(jī)噪聲序列，代表不出聲的清音. 調(diào)整濾波器的參數(shù)等效于改變口腔及聲道形狀，達(dá)到控制發(fā)不同音的目的，而調(diào)整激勵(lì)源脈沖序列的周期或強(qiáng)度，將改變合成語(yǔ)音的音調(diào)、重音等. 因此，只要正確控制激勵(lì)源和濾波器參數(shù)（一般每隔10～30ms送一組），這個(gè)模型就能靈活地合成出各種語(yǔ)句來(lái)，因此又稱作為參數(shù)合成的方法。根據(jù)時(shí)變?yōu)V波器的結(jié)構(gòu)形式不同，又有LPC合成和共振峰合成器等之分。
-----按照人類言語(yǔ)功能的不同層次，語(yǔ)言合成也可分成三個(gè)層次，它們是：（1）從文字到語(yǔ)音的合成（Text-To-Speech）；（2）從概念到語(yǔ)音的合成（Concept-To-Speech）；（3）從意向到語(yǔ)音的合成（Intention-To-Speech）。這三個(gè)層次反映了人類大腦中形成說(shuō)話內(nèi)容的不同過(guò)程，涉及人類大腦的高級(jí)神經(jīng)活動(dòng)。不難想象，即使是按規(guī)則的文字到語(yǔ)音合成（文語(yǔ)合成）也已經(jīng)是相當(dāng)困難的任務(wù)。為了合成出高質(zhì)量的語(yǔ)言，除了依賴于各種規(guī)則，包括語(yǔ)義學(xué)規(guī)則、詞匯規(guī)則、語(yǔ)音學(xué)規(guī)則外，還必須對(duì)文字的內(nèi)容有很好的理解，這將涉及自然語(yǔ)言理解的問(wèn)題。從這一點(diǎn)講，文語(yǔ)轉(zhuǎn)換系統(tǒng)實(shí)際上也可看作一個(gè)人工智能系統(tǒng)。圖1顯示了一個(gè)完整的文語(yǔ)轉(zhuǎn)換系統(tǒng)示意圖。文語(yǔ)轉(zhuǎn)換過(guò)程是先將文字序列轉(zhuǎn)換成音韻序列，再由語(yǔ)音合成器生成語(yǔ)音波形。其中第一步涉及語(yǔ)言學(xué)處理，例如分詞、字音轉(zhuǎn)換等，以及一整套有效的韻律控制規(guī)則；第二步需要先進(jìn)的語(yǔ)音合成技術(shù)，能按要求實(shí)時(shí)合成出高質(zhì)量的語(yǔ)音流。因此一般說(shuō)來(lái)，文語(yǔ)合成系統(tǒng)都需要一套復(fù)雜的文字序列到音素序列的轉(zhuǎn)換程序，也就是說(shuō)，文語(yǔ)轉(zhuǎn)換系統(tǒng)不僅要應(yīng)用數(shù)字信號(hào)處理技術(shù)，而且必須有大量的語(yǔ)言學(xué)知識(shí)的支持。當(dāng)然其中語(yǔ)音合成終究還是最基本的部分，它相當(dāng)于“人工嘴巴”，任何語(yǔ)言合成系統(tǒng)包括文語(yǔ)轉(zhuǎn)換系統(tǒng)，都離不開語(yǔ)音合成器。
圖 1 文語(yǔ)轉(zhuǎn)換系統(tǒng)示意圖
二 國(guó)內(nèi)外語(yǔ)音合成技術(shù)發(fā)展現(xiàn)狀
-----綜觀語(yǔ)言合成技術(shù)的研究已有二百多年的歷史，但是真正有實(shí)用意義的近代語(yǔ)音合成技術(shù)是隨著計(jì)算機(jī)技術(shù)和數(shù)字信號(hào)處理技術(shù)的發(fā)展而發(fā)展起來(lái)的，主要是讓計(jì)算機(jī)能夠產(chǎn)生高清晰度、高自然度的連續(xù)語(yǔ)音。近幾十年來(lái)國(guó)際和國(guó)內(nèi)的研究主要集中在按規(guī)則文語(yǔ)轉(zhuǎn)換，即將書面語(yǔ)言轉(zhuǎn)換成口頭語(yǔ)言。在語(yǔ)音合成技術(shù)的發(fā)展中，早期的研究主要是采用參數(shù)合成方法。值得提及的是Holmes的并聯(lián)共振峰合成器（1973）和Klatt的串/并聯(lián)共振峰合成器（1980），只要精心調(diào)整參數(shù)，這兩個(gè)合成器都能合成出非常自然的語(yǔ)音。而最具代表性的文語(yǔ)轉(zhuǎn)換系統(tǒng)數(shù)美國(guó)DEC 公司的DECtalk（1987），該系統(tǒng)采用Klatt的串/并聯(lián)共振峰合成器，可以通過(guò)標(biāo)準(zhǔn)的接口和計(jì)算機(jī)連網(wǎng)或單獨(dú)接到電話網(wǎng)上提供各種語(yǔ)音信息服務(wù)，它的發(fā)音清晰，并可產(chǎn)生七種不同音色的聲音，供用戶選擇。但是經(jīng)過(guò)多年的研究與實(shí)踐表明，由于準(zhǔn)確提取共振峰參數(shù)比較困難，雖然利用共振峰合成器可以得到許多逼真的合成語(yǔ)音，但是整體合成語(yǔ)音的音質(zhì)難以達(dá)到文語(yǔ)轉(zhuǎn)換系統(tǒng)的實(shí)用要求。自八十年代末期至今，語(yǔ)言合成技術(shù)又有了新的進(jìn)展，特別是基音同步疊加（PSOLA）方法的提出（1990），使基于時(shí)域波形拼接方法合成的語(yǔ)音的音色和自然度大大提高。九十年代初，基于PSOLA技術(shù)的法語(yǔ)、德語(yǔ)、英語(yǔ)、日語(yǔ)等語(yǔ)種的文語(yǔ)轉(zhuǎn)換系統(tǒng)都已經(jīng)研制成功。這些系統(tǒng)的自然度比以前基于LPC方法或共振峰合成器的文語(yǔ)合成系統(tǒng)的自然度要高，并且基于PSOLA方法的合成器結(jié)構(gòu)簡(jiǎn)單易于實(shí)時(shí)實(shí)現(xiàn)，有很大的商用前景。最近幾年，一種新的基于數(shù)據(jù)庫(kù)的語(yǔ)音合成方法正引起人們的注意。在這個(gè)方法中，合成語(yǔ)句的語(yǔ)音單元是從一個(gè)預(yù)先錄下的龐大的語(yǔ)音數(shù)據(jù)庫(kù)中挑選出來(lái)的， 不難想象只要語(yǔ)音數(shù)據(jù)庫(kù)足夠大，包括了各種可能語(yǔ)境下的語(yǔ)音單元，理論上講有可能拼接出任何語(yǔ)句。由于合成的語(yǔ)音基元都是來(lái)自自然的原始發(fā)音，合成語(yǔ)句的清晰度和自然度都將會(huì)非常高。
-----國(guó)內(nèi)的漢語(yǔ)語(yǔ)音合成研究起步較晚些，但從八十年代初就基本上與國(guó)際上研究同步發(fā)展。大致也經(jīng)歷了共振峰合成、LPC合成至應(yīng)用PSOLA技術(shù)的過(guò)程。在國(guó)家863計(jì)劃，國(guó)家自然科學(xué)基金委，國(guó)家攻關(guān)計(jì)劃，中國(guó)科學(xué)院有關(guān)項(xiàng)目等支持下，漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)研究近年來(lái)取得了令人舉目的進(jìn)展，其中不乏成功的例子：如中國(guó)科學(xué)院聲學(xué)所的KX-PSOLA（1993）, 聯(lián)想佳音（1995）；清華大學(xué)的TH_SPEECH(1993)；中國(guó)科技大學(xué)的KDTALK（1995）等系統(tǒng)。這些系統(tǒng)基本上都是采用基于PSOLA方法的時(shí)域波形拼接技術(shù)，其合成漢語(yǔ)普通話的可懂度、清晰度達(dá)到了很高的水平。然而同國(guó)外其它語(yǔ)種的文語(yǔ)轉(zhuǎn)換系統(tǒng)一樣，這些系統(tǒng)合成的句子及篇章語(yǔ)音機(jī)器味較濃，其自然度還不能達(dá)到用戶可廣泛接受的程度，從而制約了這項(xiàng)技術(shù)的大規(guī)模進(jìn)入市場(chǎng)。
-----1998年中國(guó)科技大學(xué)在國(guó)家863 計(jì)劃和國(guó)家自然科學(xué)基金委支持下，研制成功KD-863漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)。和采用國(guó)內(nèi)外流行的PSOLA技術(shù)的系統(tǒng)相比，在輸出語(yǔ)音的音質(zhì)和自然度上有了突破性的提高。KD-863采用了一種全新的基于語(yǔ)音數(shù)據(jù)庫(kù)的語(yǔ)音合成方法， 該技術(shù)的基本思想是將實(shí)際語(yǔ)流中漢語(yǔ)音節(jié)千變?nèi)f化的音變進(jìn)行聽感上的量化歸并，設(shè)計(jì)出多樣本的漢語(yǔ)語(yǔ)音基元庫(kù)，這個(gè)庫(kù)蘊(yùn)涵了漢語(yǔ)韻律變化信息，合成時(shí)只要通過(guò)對(duì)基元庫(kù)樣本的選取便可實(shí)現(xiàn)韻律控制。同時(shí)語(yǔ)音基元庫(kù)中的樣本是直接從自然語(yǔ)音中截取，避免了采用信號(hào)處理技術(shù)獲取音變單元對(duì)音質(zhì)的損害，因而合成語(yǔ)音具有接近自然語(yǔ)音的音質(zhì)。KD-863文語(yǔ)轉(zhuǎn)換系統(tǒng)一經(jīng)推出，就因其合成語(yǔ)音的高清晰度與高自然度引起了社會(huì)各方的重視。先后應(yīng)用于為深圳華為技術(shù)公司設(shè)計(jì)的“114自動(dòng)電話報(bào)號(hào)系統(tǒng)”，和為國(guó)家工商總局設(shè)計(jì)的“工商企業(yè)語(yǔ)音（傳真）查詢系統(tǒng)”。使得漢語(yǔ)語(yǔ)音合成技術(shù)走出實(shí)驗(yàn)室，向市場(chǎng)應(yīng)用邁出了重要的一步。KD-863系統(tǒng)參加了在1998年4月國(guó)家科委組織的全國(guó)漢語(yǔ)語(yǔ)音合成系統(tǒng)的性能評(píng)測(cè)，其輸出語(yǔ)音的自然度居同類系統(tǒng)之首，是唯一達(dá)到用戶可以接受程度的系統(tǒng)。KD-863還在日本，新加坡，香港的有關(guān)研究所和大學(xué)進(jìn)行過(guò)演示，均得到了有關(guān)方面專家的認(rèn)同。最近中國(guó)科技大學(xué)又推出了KD-2000漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)，不僅在語(yǔ)音合成技術(shù)方面有進(jìn)一步的發(fā)展，特別是在文本預(yù)處理中圍繞層次化結(jié)構(gòu)思想，運(yùn)用大量的統(tǒng)計(jì)和規(guī)則的方法，較好地解決了三個(gè)大的處理環(huán)節(jié)：特殊符號(hào)處理，分詞處理和拼接處理，使得漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)的整體性能有很大提高。以KD-2000文語(yǔ)轉(zhuǎn)換為核心的“暢言2000”智能漢語(yǔ)平臺(tái)軟件已開始進(jìn)入市場(chǎng)。
三 語(yǔ)音合成發(fā)展方向
1. 提高合成語(yǔ)音的自然度
-----提高合成語(yǔ)音的自然度仍然是高性能文語(yǔ)轉(zhuǎn)換的當(dāng)務(wù)之急。就漢語(yǔ)語(yǔ)音合成來(lái)說(shuō)，目前在單字和詞組一級(jí)上，合成語(yǔ)音的可懂度和自然度已基本解決，但是到句子乃至篇章一級(jí)時(shí)其自然度問(wèn)題就比較大。
-----基于語(yǔ)音數(shù)據(jù)庫(kù)的語(yǔ)音合成方法有望進(jìn)一步提高語(yǔ)音合成的自然度。 因?yàn)檫@是一種采用自然語(yǔ)音波形直接拼接的方法，進(jìn)行拼接的語(yǔ)音單元是從一個(gè)預(yù)先錄下的自然語(yǔ)音數(shù)據(jù)庫(kù)中挑選出來(lái)的，因此有可能最大限度地保留語(yǔ)音的自然度。但由此產(chǎn)生了一系列新的需要研究的問(wèn)題，包括：如何確定語(yǔ)音合成的基元，根據(jù)什么準(zhǔn)則去挑選合適的基元；韻律參數(shù)定量化問(wèn)題，對(duì)數(shù)據(jù)庫(kù)進(jìn)行定標(biāo)問(wèn)題；以及如何將統(tǒng)計(jì)的方法和規(guī)則方法相結(jié)合使機(jī)器能自動(dòng)發(fā)現(xiàn)和找出所需的語(yǔ)音單元，保證最高的合成語(yǔ)句自然度等等。
-----無(wú)論用哪種合成方法，韻律規(guī)則的總結(jié)，特別是連續(xù)語(yǔ)音的韻律規(guī)則總結(jié)，盡可能將定性的規(guī)則描述定量化，對(duì)自然度始終有最重要的影響。還有前端文本處理, 對(duì)合成語(yǔ)音的自然度也具有舉足輕重的影響, 完整全面的解決, 需要自然語(yǔ)言理解的突破。
2 豐富合成語(yǔ)音的表現(xiàn)力
-----目前國(guó)內(nèi)外大多數(shù)語(yǔ)音合成研究是針對(duì)文語(yǔ)轉(zhuǎn)換系統(tǒng)，且只能解決以某種朗讀風(fēng)格將書面語(yǔ)言轉(zhuǎn)換成口語(yǔ)輸出，缺乏不同年齡、性別特征及語(yǔ)氣、語(yǔ)速的表現(xiàn)，更不用說(shuō)賦予個(gè)人的感情色彩。隨著信息社會(huì)的需求發(fā)展，對(duì)人機(jī)交互提出了更高的要求，人機(jī)口語(yǔ)對(duì)話系統(tǒng)的研究也提到了日程上。即語(yǔ)音合成研究已開始從文字到語(yǔ)音的轉(zhuǎn)換階段向概念到語(yǔ)音的轉(zhuǎn)換階段發(fā)展。這不僅對(duì)語(yǔ)音合成技術(shù)提出了更高的要求，而且涉及到計(jì)算機(jī)語(yǔ)言生成，涉及人類大腦的高級(jí)神經(jīng)活動(dòng)。但就語(yǔ)音合成來(lái)說(shuō)，仍是一個(gè)要豐富合成語(yǔ)音的表現(xiàn)力問(wèn)題。相對(duì)來(lái)說(shuō)采用波形拼接方法來(lái)增強(qiáng)合成語(yǔ)音表現(xiàn)力比較困難，盡管也可以通過(guò)增加音庫(kù)容量和音庫(kù)個(gè)數(shù)來(lái)達(dá)到改變合成語(yǔ)音的特性，但畢竟它對(duì)韻律的控制能力非常有限。更為有效的辦法是采用參數(shù)合成法，分析參數(shù)特征，通過(guò)對(duì)相關(guān)參數(shù)的調(diào)整來(lái)實(shí)現(xiàn)對(duì)年齡、性別特征的改變，進(jìn)一步實(shí)現(xiàn)語(yǔ)氣、語(yǔ)調(diào)的變化，由于這種改變是連續(xù)的，對(duì)象特征可以千千萬(wàn)萬(wàn)，顯得更有生命力。近年來(lái)提出的基于LMA（對(duì)數(shù)振幅近似）技術(shù)的語(yǔ)音合成器，Hybrid Harmonic/Stochastic 模型 , Sinusoidal 模型等已被證實(shí)是一些新穎的能合成出高質(zhì)量語(yǔ)音的參數(shù)合成方法，為此應(yīng)繼續(xù)深入這方面的研究，以期在參數(shù)合成技術(shù)上取得突破。
3 降低語(yǔ)音合成技術(shù)的復(fù)雜度
-----語(yǔ)音合成技術(shù)正在走向市場(chǎng)。為了適應(yīng)社會(huì)的需求，擴(kuò)大文語(yǔ)合成的應(yīng)用場(chǎng)合，除了解決好上面兩個(gè)問(wèn)題，提高合成語(yǔ)音的質(zhì)量和增強(qiáng)語(yǔ)音合成的表現(xiàn)力以外，在其他實(shí)用化方面也有要加以改進(jìn)的地方。就目前漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)而言，減小音庫(kù)容量就是一個(gè)重要課題。目前高質(zhì)量的漢語(yǔ)文語(yǔ)轉(zhuǎn)換系統(tǒng)一般需要幾兆字節(jié)到幾十兆，甚至幾百兆字節(jié)的存儲(chǔ)容量，這在以PC機(jī)或工作站為硬件平臺(tái)的應(yīng)用中是沒(méi)有問(wèn)題的，而對(duì)于象HPC, PDA及無(wú)線通信手機(jī)，商務(wù)通等資源有限的設(shè)備上就沒(méi)法承受。解決的方法可以是通過(guò)語(yǔ)音壓縮編碼的方法來(lái)壓縮音庫(kù)所需的容量，或者采用更小的合成基元，例如用聲母、韻母或雙音素、半音節(jié)， 以及減少合成語(yǔ)音所需的音節(jié)基元數(shù)等等。然而又不能增加算法的復(fù)雜度，因?yàn)檫\(yùn)算量及系統(tǒng)開銷同樣會(huì)直接影響漢語(yǔ)語(yǔ)音合成的應(yīng)用。既要提高語(yǔ)音合成的質(zhì)量，又要降低語(yǔ)音合成的復(fù)雜度，這始終是一個(gè)矛盾的兩個(gè)方面。
4 多語(yǔ)種文語(yǔ)合成
-----語(yǔ)言是人們交流的工具，不同民族有自己不同的語(yǔ)言，不同語(yǔ)言之間的交流在今天開放的信息社會(huì)和網(wǎng)絡(luò)時(shí)代顯得十分重要，多語(yǔ)種的文語(yǔ)合成有著獨(dú)特的應(yīng)用價(jià)值。例如在自動(dòng)電話翻譯，有聲的電子郵件等中都提出多語(yǔ)種的合成，即使是對(duì)漢語(yǔ)合成也有多方言文語(yǔ)轉(zhuǎn)換的需求。理想的多語(yǔ)種合成系統(tǒng)最好是各種語(yǔ)言共用一種合成算法或語(yǔ)音合成器，但是現(xiàn)有的語(yǔ)音合成系統(tǒng)大多是針對(duì)某一種語(yǔ)言或若干種語(yǔ)言開發(fā)出來(lái)的，所采用的算法及規(guī)則都是和某種語(yǔ)言密切相關(guān)的，因此很難推廣到其他的語(yǔ)種。例如漢語(yǔ)就和西方語(yǔ)言有很大的差異，國(guó)內(nèi)的系統(tǒng)都是做漢語(yǔ)文語(yǔ)轉(zhuǎn)換，它的一套韻律控制規(guī)則完全不適合于英語(yǔ)，而且主要是合成漢語(yǔ)普通話，即使推廣到廣東話和上海話都有相當(dāng)?shù)碾y度�？梢娨嬲鉀Q多語(yǔ)種的文語(yǔ)合成，從文本處理到語(yǔ)音合成都必須有新的思路。美國(guó)貝爾實(shí)驗(yàn)室在多語(yǔ)種文語(yǔ)轉(zhuǎn)換方面作了大量的工作，其中包括漢語(yǔ)普通話合成，值得注意。
四 結(jié)語(yǔ)
-----計(jì)算機(jī)要真正能夠象人一樣的說(shuō)話，和人類自由地進(jìn)行交談，這仍然是需假以時(shí)日，還有大量的研究工作要去做；今天的文語(yǔ)轉(zhuǎn)換系統(tǒng)只能機(jī)械地朗讀文章，與生動(dòng)活潑、感情豐富多彩的人類語(yǔ)言相比差距是如此之大；但是毋庸置疑，語(yǔ)音合成技術(shù)確實(shí)已經(jīng)可以走出實(shí)驗(yàn)室了，其潛在的巨大市場(chǎng)已露出曙光。