“隱性小詞表+專業(yè)小詞庫(kù)”的自動(dòng)分詞技術(shù)研究.pdf

1、中文信息處理技術(shù)是我國(guó)重要的計(jì)算機(jī)應(yīng)用技術(shù)，國(guó)務(wù)院制定的國(guó)家中長(zhǎng)期科技發(fā)展綱領(lǐng)中明確指出：“中文信息處理技術(shù)是高新技術(shù)發(fā)展的重點(diǎn)”。而書面漢語自動(dòng)分詞是目前中文信息處理中公認(rèn)的難題，在中文信息處理中，凡是涉及句法、語義等研究項(xiàng)目(如機(jī)器翻譯，自然語言理解等)都要以此為基本單位?！?馮志偉，1992)漢語詞自動(dòng)切分是中文信息處理各個(gè)領(lǐng)域中最基本的環(huán)節(jié)，也是中文信息處理的“瓶頸”。 已有的分詞方法一直執(zhí)著于對(duì)傳統(tǒng)文本進(jìn)行切分和理解，

2、但是由于漢語文本本身字連寫的局限性，給漢語文本的自動(dòng)切分帶來了極大的困難。國(guó)內(nèi)從80年代開始，陸續(xù)研究出了一些自動(dòng)分詞的系統(tǒng)，但是離實(shí)際應(yīng)用還有一段不小的距離。羅海清的“隱性小詞表”自動(dòng)分詞技術(shù)是其中—種比較好的系統(tǒng)，用匯編語言寫成，具有占用空間小、運(yùn)行速度快、對(duì)系統(tǒng)的依賴小等優(yōu)點(diǎn)，我們?cè)噲D在該系統(tǒng)的基礎(chǔ)之上，作一系列的改進(jìn)，爭(zhēng)取使該系統(tǒng)分詞在保持速度優(yōu)勢(shì)的情況下，進(jìn)一步的提高分詞的精度。 本文共分五個(gè)部分，第一部分是文獻(xiàn)綜述部