基于Hash結(jié)構(gòu)的機(jī)械統(tǒng)計分詞系統(tǒng).pdf

1、中文分詞作為中文信息處理的基礎(chǔ)，已經(jīng)吸引了眾多國內(nèi)外計算機(jī)專家的極大興趣，同時也涌現(xiàn)出了許多中文分詞系統(tǒng)。本文在綜合比較分析了常用的機(jī)械分詞方法和統(tǒng)計分詞方法基礎(chǔ)上，設(shè)計并實現(xiàn)了一個基于Hash結(jié)構(gòu)的機(jī)械統(tǒng)計分詞系統(tǒng)。 為使得機(jī)械分詞方法和統(tǒng)計分詞方法能有機(jī)結(jié)合，優(yōu)勢互補(bǔ)，最大發(fā)揮各自性能，本文在如下幾方面作了深入研究：在機(jī)械分詞階段，將最大匹配長度的賦值方式由靜態(tài)分配改進(jìn)為動態(tài)分配，以減少不必要的匹配操作；將詞頻信息作

2、為切分評估的另一標(biāo)準(zhǔn)，以彌補(bǔ)“長詞優(yōu)先”標(biāo)準(zhǔn)的不足；采用了Hash分詞詞典機(jī)制，以提高分詞的效率。在統(tǒng)計分詞階段，為了提高統(tǒng)計操作的效率，對分詞單位的概念進(jìn)行了泛化，并把詞頻統(tǒng)計操作融合于機(jī)械分詞操作，同時還采用了Hash表來存儲詞頻統(tǒng)計的結(jié)果，從而提高機(jī)械分詞速度。 在編程實現(xiàn)系統(tǒng)之后，對其進(jìn)行了大量語料的測試。通過歸納統(tǒng)計、曲線擬合等方法對系統(tǒng)性能進(jìn)行測試，發(fā)現(xiàn)該系統(tǒng)對不同領(lǐng)域、不同文本長度的語料進(jìn)行分詞操作都會表現(xiàn)出不同