基于Hadoop的文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)上的數(shù)據(jù)呈指數(shù)冪級增長。由于在這些海量數(shù)據(jù)中，類似于 Web文本結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)居多，因此，如何快速的在網(wǎng)絡(luò)上查找用戶需要的有效數(shù)據(jù)，成為一項急迫需要解決的問題。為了提高用戶查找效率和準確率，對這些結(jié)構(gòu)化或半結(jié)構(gòu)化文本數(shù)據(jù)有效的整理分類是至關(guān)重要的。由于計算機硬件的發(fā)展速度遠遠趕不上客戶需求和數(shù)據(jù)增長的速度，因此，雖然文本分類技術(shù)已經(jīng)發(fā)展到一定的成熟階段，但是面對海量數(shù)據(jù)時，面臨著如何

2、在現(xiàn)在有的硬件基礎(chǔ)上實現(xiàn)海量數(shù)據(jù)高并發(fā)處理，以及快速響應的挑戰(zhàn)。因此本文的研究目的，在于設(shè)計和實現(xiàn)了一種處理海量數(shù)據(jù)的文本分類系統(tǒng)。
　　在面臨海量數(shù)據(jù)呈指數(shù)冪級增長和分類需求迫切，以及云計算興起和分類技術(shù)相對成熟的背景下，提出了一種基于 Hadoop文本分類設(shè)計與實現(xiàn)的方法。首先，對當前成熟的文本預處理、特征詞選擇、文本向量化、分類算法等，進行了研究，并設(shè)計了文本分類系統(tǒng)流程圖。其次，對Hadoop系統(tǒng)框架進行了研究，然后建立配