基于知網(wǎng)語義相關(guān)度計(jì)算的漢語自動分詞方法的研究.pdf

1、漢語自動分詞方法一直是中文信息處理乃至人工智能領(lǐng)域的重要研究內(nèi)容。其中歧義消解作為該領(lǐng)域最重要也是最困難的兩個研究重點(diǎn)之一，已經(jīng)在國內(nèi)外取得了重大進(jìn)展，并且也提出了許多有效的分詞方法。但是對于歧義字段的處理精度方面還存在不小差距，并且也遇到了不少困難。 作者對漢語自動分詞技術(shù)、方法和分詞系統(tǒng)的實(shí)現(xiàn)技術(shù)進(jìn)行了較深入的研究，提出了基于知網(wǎng)的語義相關(guān)度計(jì)算的歧義字段處理分詞模型，并對各鏈長的歧義字段進(jìn)行了處理，根據(jù)以上研究，設(shè)計(jì)了WG

2、Z分詞系統(tǒng)，并對所設(shè)計(jì)的系統(tǒng)進(jìn)行了測試，在所提出的計(jì)算語義相關(guān)度方法、分詞和標(biāo)注方法都與其它方法做了全面的比較。實(shí)驗(yàn)證實(shí)，本系統(tǒng)若以句子為單位，本文提出的分詞模型的分詞正確率為：97.1％；若以詞為單位，則為：99.4％，標(biāo)注正確率為：91.4％。 作者在研究中發(fā)現(xiàn)，歧義消解并不只是詞的問題，而是與其上下文，包括相鄰詞、句子段落甚至篇章都有直接或間接的關(guān)系。作者在系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)時，也充分考慮到了這些因素，并在知網(wǎng)的基礎(chǔ)上提出了

3、詞語的語義相關(guān)度計(jì)算模型，并對各鏈長的歧義字段進(jìn)行了處理。在進(jìn)行詞性標(biāo)注時，作者分析了前人的基于規(guī)則的詞性標(biāo)注的工作，并提出了基于規(guī)則優(yōu)先級的詞性標(biāo)注方法，最后實(shí)現(xiàn)了分詞和標(biāo)注系統(tǒng)。 本文在設(shè)計(jì)分詞系統(tǒng)的時候，充分研究了知網(wǎng)的知識結(jié)構(gòu)以及其知識系統(tǒng)描述語言模型(KDML)，并分析了知網(wǎng)在刻畫詞語概念知識的優(yōu)越性。本文在利用正向最大匹配方法和逆向最大匹配方法來對輸入文本進(jìn)行預(yù)切分，并通過雙向掃描的方法檢測歧義字段。在歧義字段的處理