中文分詞實驗

1、 1 / 13 中文分詞實驗 一、實驗?zāi)康模?一、實驗?zāi)康模?目的：了解并掌握基于匹配的分詞方法，以及分詞效果的評價方法。 實驗要求： 1、 從互聯(lián)網(wǎng)上查找并構(gòu)建不低于 10 萬詞的詞典，構(gòu)建詞典的存儲結(jié)構(gòu)； 2、 選擇實現(xiàn)一種機械分詞方法（雙向最大匹配、雙向最小匹配、正向減字最大匹配法等）。 3、 在不低于 1000 個文本文件，每個文件大于 1000 字的文檔中進(jìn)行中文分詞測試，記錄并分析所選分詞算法的準(zhǔn)確率、分詞速度。 預(yù)期效果：

2、 1、 平均準(zhǔn)確率達(dá)到 85%以上 二、實驗方案： 二、實驗方案： 1. 實驗平臺 系統(tǒng)：win10 軟件平臺：spyder 語言：python 2. 算法選擇 選擇正向減字最大匹配法，參照《搜索引擎-原理、技術(shù)與系統(tǒng)》教材第 62頁的描述，使用 python 語言在 spyder 軟件環(huán)境下完成代碼的編輯。 算法流程圖： 3 / 13 Figure Figure 錯誤 錯誤!未指定順序。 未指定順序。. . 切詞算法流程 切詞算