分詞連寫的中文信息處理.pdf

1、詞是最小的表示獨立語義的語言單位，各種自然語言文本的處理都是以詞為基礎(chǔ)的?？墒?，漢語文本被表示為連續(xù)的漢字串，詞與詞之間沒有明確的分隔標記。顯而易見，自動識別詞邊界，即將漢字串切分為正確的詞串的分詞問題，就成為了實現(xiàn)中文信息處理的各項任務中的首要問題。長期以來，分詞問題也嚴重地阻礙了中文信息處理的發(fā)展。 結(jié)合中文信息處理的發(fā)展趨勢，提出了一種分詞連寫的中文輸入軟件，把目前中文信息處理不可逾越的一個階段——分詞，提前到文本輸入的時

2、候進行，這是以最低消費和最高精度進行分詞的最佳時機。本文在理論及實踐上創(chuàng)新之處主要如下：分析了分詞連寫的必要性和可行性，提出了分詞連寫的對策：推行分詞連寫的中文輸入軟件。提出了基于全切分算法的逐步求精的分詞策略，該策略首先利用無交叉歧義邊界確定算法來把較長的中文字串分成若干個句子，緊接著對每個句子采用全切分算法，生成中文分詞有向圖，然后經(jīng)過確定性切分階段和未登錄詞識別階段，對上述中文分詞有向圖進行裁邊，從而減少有向圖的切分路徑。利用圖論