鄭州電視臺(tái)中文自動(dòng)分詞系統(tǒng)研究與實(shí)現(xiàn).pdf

1、如今的互聯(lián)網(wǎng)社會(huì)網(wǎng)絡(luò)化和信息化程度逐步提高，互聯(lián)網(wǎng)上的中文信息量正以幾何級(jí)的速度提高。據(jù)統(tǒng)計(jì)，這些信息量在總信息量中的比重達(dá)到80％以上。它們的自動(dòng)輸出和輸入，文本的分類和校勘，信息的檢索和提取以及語(yǔ)言的翻譯等信息工程，都是企業(yè)信息化建設(shè)和國(guó)民經(jīng)濟(jì)的重要基礎(chǔ)。因此，中文信息處理技術(shù)已成為重要的計(jì)算機(jī)應(yīng)用技術(shù)，受到了各方面的高度重視。
　　中文信息處理可大致分為四個(gè)層面：字處理、詞處理、句處理、篇章處理。按字處理雖然具有方法容易的優(yōu)

2、點(diǎn)，但處理效率偏低，時(shí)空開(kāi)銷偏大。而詞作為能獨(dú)立活動(dòng)的、最小的、有意義的語(yǔ)言成分，對(duì)其處理可提高工作效率。所以，按詞處理技術(shù)占有很大優(yōu)勢(shì)，當(dāng)前中文信息處理的主目標(biāo)已從“字處理”轉(zhuǎn)移到“詞處理”。
　　眾所周知，中文與西文不同，中文規(guī)則是按句連寫(xiě)，詞間沒(méi)有明顯的分隔符。因而中文文本處理中的突出問(wèn)題是詞的切分問(wèn)題，將按句連寫(xiě)轉(zhuǎn)換成按詞連寫(xiě)，詞的正確切分成為進(jìn)行中文文本處理的必要條件，是進(jìn)行基于詞一級(jí)的語(yǔ)言處理應(yīng)用不可逾越的第一步。因此