基于Hadoop平臺(tái)的中文分詞算法應(yīng)用研究.pdf

1、近年來(lái)，隨著中文在世界舞臺(tái)扮演著越來(lái)越重要的角色，吸引眾多學(xué)者投入中文分詞的研究，目前實(shí)現(xiàn)了很多基于詞典和概率統(tǒng)計(jì)的中文分詞算法。
　　云計(jì)算平臺(tái)多是由大量廉價(jià)的PC機(jī)搭建而成，并且這種集群往往比超高性能的服務(wù)器表現(xiàn)還要好。以Hadoop為代表的云計(jì)算平臺(tái)是近幾年剛剛興起并得到快速發(fā)展的一種新技術(shù)，原因在于這種分布式平臺(tái)可以提供海量存儲(chǔ)和超級(jí)計(jì)算的能力。把分析挖掘超大數(shù)據(jù)集的任務(wù)使用云計(jì)算方案來(lái)解決，能夠極大地提升切分文本信息、挖

2、掘結(jié)果集與形象化顯示結(jié)果的效能。所以說(shuō)，以Hadoop為代表的云計(jì)算平臺(tái)和海量中文數(shù)據(jù)集的處理相融合，會(huì)是一個(gè)很有科研價(jià)值和潛力的研究方向。
　　本文主要研究基于Hadoop的海量文本數(shù)據(jù)集的分詞算法改進(jìn)及結(jié)果集的數(shù)據(jù)挖掘，具體工作有如下幾點(diǎn):
　　1.研究了Hadoop的相關(guān)核心技術(shù)以及Hadoop集群的搭建過(guò)程。將Hadoop和中文分詞算法相融合，設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的兩種中文分詞改進(jìn)算法的分詞系統(tǒng)，并進(jìn)一步介紹

3、了組成該分詞系統(tǒng)的核心模塊的作用。
　　2.中文分詞算法如何順利地在Hadoop平臺(tái)上實(shí)現(xiàn)是研究海量文本處理的重點(diǎn)和難點(diǎn)。本文詳細(xì)介紹了如何通過(guò)算法的改進(jìn)來(lái)解決這個(gè)問(wèn)題，從Hadoop的角度闡述為何選擇這樣的設(shè)計(jì)思路，并利用搭建好的Hadoop集群檢測(cè)這種算法設(shè)計(jì)的可行性。
　　3.詳細(xì)設(shè)計(jì)了ICTCLAS和IK Analyzer分詞算法在Hadoop集群上的對(duì)比實(shí)驗(yàn):首先進(jìn)行了單機(jī)模式和Hadoop集群模式分詞速度的對(duì)比以

4、及不同數(shù)量節(jié)點(diǎn)的集群的分詞速度對(duì)比;然后完成了處理不同大小的文本時(shí)切分速度的對(duì)比;之后進(jìn)行了處理不同數(shù)量的文本時(shí)切分速度的對(duì)比;最后完成了處理不同領(lǐng)域的文本內(nèi)容時(shí)切分精度、召回率和F值的對(duì)比;并從理論上詳細(xì)分析了實(shí)驗(yàn)的結(jié)果。
　　4.在基于Hadoop平臺(tái)的中文分詞算法上引入了一個(gè)評(píng)價(jià)參數(shù)“詞頻”和任務(wù)管道方法，詳細(xì)分析了切分后的海量詞組集:首先挖掘詞頻與排序之間的關(guān)系是否符合Zipf定律;然后詳細(xì)對(duì)比了兩種分詞算法處理同一海量文