會(huì)員中心 |  會(huì)員注冊(cè)  |  兼職信息發(fā)布    瀏覽手機(jī)版!    精選9.9元!    人工翻譯    英語(yǔ)IT服務(wù) 貧困兒童資助 | 留言板 | 設(shè)為首頁(yè) | 加入收藏  繁體中文
當(dāng)前位置:首頁(yè) > 機(jī)翻技術(shù) > 機(jī)器翻譯 > 正文

概率上下文無(wú)關(guān)語(yǔ)法

發(fā)布時(shí)間: 2022-07-29 09:26:27   作者:etogether.net   來(lái)源: 網(wǎng)絡(luò)   瀏覽次數(shù):



一個(gè)特定的剖析T的概率定義為在該剖析樹(shù)中用來(lái)展開(kāi)每個(gè)結(jié)點(diǎn)n的所有規(guī)則r的概率的乘積:


12.2.png


作為結(jié)果的概率P(T,S)既是剖析和句子的聯(lián)合概率,又是剖析P(T) 的概率。怎樣證實(shí)這個(gè)公式的正確性呢?


首先,根據(jù)聯(lián)合概率的定義有:


P(T,S) = P(T) P(SIT)       (12.3)


但是,因?yàn)槠饰霭司渥又械乃袉卧~,所以P(SIT)等于1。因此有:


P(T,S) = P(T)P(S|T) = P(T)         (12.4)


圖2中的每個(gè)剖析樹(shù)的概率的計(jì)算,只要把在推導(dǎo)中使用的每個(gè)規(guī)則概率相乘就可以得到計(jì)算結(jié)果。側(cè)如,圖12.2(a)中左側(cè)的剖析樹(shù)(稱(chēng)為T(mén))的概率以及圖12.2(b)中右側(cè)的剖析樹(shù)(稱(chēng)為T(mén),)的概率可以計(jì)算如下:


12.5.png


我們可以看出,在圖12.2(b)中右側(cè)的剖析樹(shù)具有比較高的概率。如果歧義消解算法選擇具有最大PCFG概率的剖析,那么這個(gè)剖析便可以通過(guò)這樣的歧義消解算法選擇正確結(jié)果。


可以看出,選擇具有最大概率的剖析是進(jìn)行歧義消解的正確方法。現(xiàn)在,讓我們把這樣的直覺(jué)加以形式化。歧義消解算法在句子S的剖析樹(shù)集合(我們稱(chēng)之為τ(S))中選擇對(duì)于這個(gè)句子S的最佳的樹(shù)作為剖析結(jié)果。我們想得到的是對(duì)于給定的句子S的最佳剖析樹(shù)T。


12.7.png


根據(jù)定義,概率P(TIS)可以改寫(xiě)為P(T,S)/P(S),這樣可以得出:


12.8.png


因?yàn)槲覀円畲笙薅鹊乜紤]同一個(gè)句子可能有的一切剖析樹(shù),所以對(duì)于每個(gè)樹(shù),P(S)將是一個(gè)常數(shù),我們可以刪除它,得到:


12.9.png


還有,由于我們?cè)?jīng)說(shuō)明P (T, S)= P(T),所以選擇最佳剖析的最后的等式巧妙地簡(jiǎn)化為選擇具有最大概率的剖析:


12.10.png


PCFG的另一個(gè)特性是它可以給構(gòu)成句子的單詞符號(hào)串指派一個(gè)概率。在語(yǔ)音識(shí)別、拼寫(xiě)檢查和增強(qiáng)通信中,這個(gè)特性對(duì)于語(yǔ)言建模(language modeling)有重要意義。非歧義句子的概率等于P(T,S)=P(T),或者說(shuō)這個(gè)概率恰好是該句子的單個(gè)剖析樹(shù)的概率。歧義句子的概率等于該句子所有剖析樹(shù)的概率之和:


12.11.png


PCFG對(duì)語(yǔ)言建模的另一個(gè)有用特征是它可以給句子中的子符號(hào)串指派一個(gè)概率。例如,Jelinek and Lafferty(1991)提出了能夠有效計(jì)算一個(gè)句子前面部分(prefix)的概率的算法。這個(gè)概率也就是語(yǔ)法生成句子的初始子符號(hào)串為w1,w2…wi,的概率。Stolcke(1995)說(shuō)明了怎樣把標(biāo)準(zhǔn)的Earley算法提升到能夠計(jì)算這些句子前面部分的概率,Jurafsky et al.(1995)描寫(xiě)了采用這種算法作為語(yǔ)言模型在語(yǔ)音識(shí)別中的應(yīng)用。

在一個(gè)PCFG中,如果一種語(yǔ)言的所有句子的概率之和為1,就可以說(shuō)這個(gè)PCFG是堅(jiān)固的(consistent)。有些遞歸規(guī)則會(huì)引起語(yǔ)法變得不堅(jiān)固,因?yàn)檫@時(shí)它對(duì)某些句子要進(jìn)行無(wú)限循環(huán)的推導(dǎo)。例如,概率為1的規(guī)則S→S將會(huì)導(dǎo)致概率量的喪失,因?yàn)橥茖?dǎo)永遠(yuǎn)不會(huì)終止。關(guān)于堅(jiān)固語(yǔ)法和非堅(jiān)固語(yǔ)法的詳細(xì)情況,可以參閱Booth and Thompson(1973)。


責(zé)任編輯:admin


微信公眾號(hào)

[上一頁(yè)][1] [2] 【歡迎大家踴躍評(píng)論】
  • 上一篇:PCFG的概率CYK剖析
  • 下一篇:類(lèi)型與繼承的應(yīng)用


  • 《譯聚網(wǎng)》倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)問(wèn)題,煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至info@qiqee.net,我們將及時(shí)溝通與處理。


我來(lái)說(shuō)兩句
評(píng)分: 1分 2分 3分 4分 5分
評(píng)論內(nèi)容:
驗(yàn)證碼:
【網(wǎng)友評(píng)論僅供其表達(dá)個(gè)人看法,并不表明本站同意其觀點(diǎn)或證實(shí)其描述?!?
評(píng)論列表
已有 0 條評(píng)論(查看更多評(píng)論)