基于Hadoop的SKNN文本分類算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著信息技術(shù)的高速發(fā)展，全球信息量迅猛增長(zhǎng)，“大數(shù)據(jù)”時(shí)代已經(jīng)到來(lái)。文本分類技術(shù)可以按照文本的主題對(duì)文本進(jìn)行歸類，從而方便組織和管理海量文本數(shù)據(jù)。經(jīng)典KNN分類算法具有實(shí)現(xiàn)簡(jiǎn)單、分類結(jié)果穩(wěn)定和準(zhǔn)確性高等特點(diǎn)，但其計(jì)算量大，分類用時(shí)較長(zhǎng)。本文提出了一種SKNN分類算法，可以有效降低KNN的時(shí)間復(fù)雜度。此外，在處理海量文本數(shù)據(jù)時(shí)，基于單機(jī)的傳統(tǒng)文本分類技術(shù)在存儲(chǔ)和計(jì)算能力兩個(gè)方面都表現(xiàn)不足，開(kāi)源云計(jì)算平臺(tái)Hadoop提供海量數(shù)據(jù)存儲(chǔ)

2、和并行計(jì)算的解決方案。本文主要研究基于Hadoop的SKNN文本分類算法的設(shè)計(jì)與實(shí)現(xiàn)。
　　文本預(yù)處理和文本分類是文本分類技術(shù)的兩個(gè)重要的步驟。本文在文本預(yù)處理階段的工作中，考慮到單個(gè)文本屬于小文件的特點(diǎn)，結(jié)合HDFS分布式文件系統(tǒng)對(duì)數(shù)據(jù)的管理方式，設(shè)計(jì)了文本數(shù)據(jù)集在HDFS中的存儲(chǔ)策略。分析了中文分詞、去停用詞、特征選擇和文本表示的過(guò)程和相關(guān)計(jì)算所需的詞頻、文檔頻率等統(tǒng)計(jì)量，結(jié)合MapReduce計(jì)算模型，設(shè)計(jì)實(shí)現(xiàn)了將整個(gè)文本預(yù)

3、處理過(guò)程進(jìn)行并行化處理的方法。在對(duì)46.9M、93.8M、234M、469M和938M五個(gè)不同數(shù)據(jù)量的文本數(shù)據(jù)進(jìn)行預(yù)處理的實(shí)驗(yàn)結(jié)果表明，Hadoop處理較大的數(shù)據(jù)更有優(yōu)勢(shì)，另外在處理相同數(shù)據(jù)量的數(shù)據(jù)時(shí)，多節(jié)點(diǎn)的集群比單節(jié)點(diǎn)的集群速度更快，且數(shù)據(jù)越大速度提高的效果越明顯。
　　本文在文本分類階段的工作中，針對(duì)經(jīng)典KNN分類算法的不足，提出了一種劃分子類的SKNN分類算法。該算法吸收了急迫性學(xué)習(xí)算法的思想，在訓(xùn)練階段通過(guò)給每個(gè)類別劃分

4、S個(gè)子類來(lái)構(gòu)造初級(jí)分類器，測(cè)試文本先找出距離最近的K個(gè)子類，再?gòu)腒個(gè)子類中找出最近的K個(gè)文本來(lái)判別測(cè)試文本的類別，通過(guò)降低了需要進(jìn)行比較的訓(xùn)練文本數(shù)，減少了計(jì)算量。本文分析了SKNN分類算法的正確性和時(shí)間復(fù)雜度小于經(jīng)典KNN算法。在對(duì)大量待測(cè)文本數(shù)據(jù)進(jìn)行分類時(shí)，基于MapReduce的SKNN分類算法可以提高分類的效率。實(shí)驗(yàn)結(jié)果表明在分類準(zhǔn)確度相當(dāng)?shù)那闆r下，SKNN分類算法所需分類時(shí)間比經(jīng)典KNN分類算法少，另外，Hadoop處理大量文