基于Nutch搜索引擎的中文分詞算法研究與實(shí)現(xiàn).pdf

1、分類號(hào)TP391學(xué)校代碼10129UDC004學(xué)號(hào)08211005基于Nutch搜索引擎的中文分詞算法研究與實(shí)現(xiàn)StudyImplementationonChineseWdSegmentationAlgithmofSearchEngineBasedonNutch申請(qǐng)人：馬東學(xué)科門(mén)類：工學(xué)學(xué)科專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)研究方向：智能計(jì)算與數(shù)據(jù)挖掘指導(dǎo)教師：李美安教授論文提交日期：二〇一一年五月摘要隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)信息資源呈幾何級(jí)數(shù)

2、增長(zhǎng)，如何從海量數(shù)據(jù)中快速準(zhǔn)確的提取有價(jià)值的信息顯得更加重要。搜索引擎的出現(xiàn)有效的解決了用戶檢索信息的困難。而中文分詞技術(shù)又決定了搜索引擎查找信息的準(zhǔn)確度。以詞為單位做為搜索引擎索引的key值，會(huì)大大提高搜索引擎搜索結(jié)果的準(zhǔn)確性，同時(shí)減少了搜索過(guò)程中的計(jì)算量。目前存在的分詞算法主要分為基于字符串匹配法、基于統(tǒng)計(jì)的分詞法以及基于理解的分詞法三大類。通過(guò)對(duì)現(xiàn)有分詞算法的研究與理解以及字典機(jī)制的學(xué)習(xí)，了解不同算法及詞典的優(yōu)缺點(diǎn)，結(jié)合漢語(yǔ)詞條長(zhǎng)