基于語境的漢語自動分詞技術(shù)研究及實驗分析.pdf

1、當(dāng)代科技革命的主要特征，是以計算機(jī)為支持手段進(jìn)行信息處理。隨著計算機(jī)的廣泛應(yīng)用，計算機(jī)已由過去的數(shù)據(jù)處理、信息處理發(fā)展到現(xiàn)在的知識處理，對語言文字的信息處理。而語言是人類最重要的交際工具，是信息最主要的負(fù)荷者。在我國，將計算機(jī)應(yīng)用于事務(wù)處理、辦公自動化、印刷排版、情報檢索、機(jī)器翻譯、人機(jī)對話等方面，都離不開中文，因為所有這些方面的信息，都是以中文作為其載體的，因而語言文字的信息處理成為我國信息化建設(shè)的“瓶頸”。 中文信息處理技術(shù)

2、是重要的計算機(jī)應(yīng)用技術(shù)，它已滲透到計算機(jī)應(yīng)用的各個領(lǐng)域，如計算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫技術(shù)、軟件工程等。國務(wù)院制定的國家中長期科技發(fā)展綱領(lǐng)中明確指出：“中文信息處理技術(shù)是高新技術(shù)發(fā)展的重點”。我國軟件產(chǎn)業(yè)發(fā)展的重點是中文信息處理軟件，中文信息處理的發(fā)展已經(jīng)得到國家的重視。 自然語言處理是人工智能的重要分支。詞是自然語言處理系統(tǒng)中重要的知識載體與基本操作單元。在書面漢語中詞與詞之間沒有明顯的切分標(biāo)志。于是在中文信息處理中漢語自動分詞這一研究

3、領(lǐng)域應(yīng)運(yùn)而生，并成為中文信息處理中的基礎(chǔ)課題。 書面漢語自動分詞是中文信息處理中的重要步驟，它是文本校對、機(jī)器翻譯、文本分類、文本檢索、計算機(jī)人機(jī)接口等諸多中文信息應(yīng)用領(lǐng)域的基礎(chǔ)。通過對自動分詞技術(shù)的深入研究，開發(fā)出高質(zhì)量，多功能的分詞系統(tǒng)，必將促進(jìn)中文信息處理系統(tǒng)更加廣泛的應(yīng)用。 漢語自動分詞是漢語信息處理的前提，是目前中文信息處理中的難點之一，它也是中文自然語言理解、機(jī)器翻譯中最基本的一步。而漢語自動分詞的難點在于對

4、歧義字段的切分。這主要是因為漢語自動分詞的劃分往往存在著歧義性，需用到一定的語境知識，需要在一定的語境上下文參照下確定它的真實含義，而語境上下文的利用反過來又依賴于一個個切分好的詞，這樣就有一個分詞與語境相互依賴的關(guān)系。 為了進(jìn)一步提高漢語自動分詞的準(zhǔn)確性，本文通過分析漢語特點，提出了基于語境的漢語自動分詞方法。通過改進(jìn)的最大分詞算法來對中文進(jìn)行初切分，然后對于有歧義切分句子進(jìn)行消歧處理，運(yùn)用詞的語境知識，也就是上下文信息來處理