基于Spark的超大文本分類(lèi)方法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，衍生出了海量的網(wǎng)絡(luò)文本數(shù)據(jù)。但是大部分海量數(shù)據(jù)沒(méi)有經(jīng)過(guò)處理和分類(lèi)，導(dǎo)致了垃圾郵件、廣告推送等不良網(wǎng)絡(luò)行為的出現(xiàn)，使得人們很難從海量數(shù)據(jù)中提取出有用信息，浪費(fèi)了大量時(shí)間精力去處理垃圾信息。因此，如何對(duì)海量文本數(shù)據(jù)進(jìn)行高效的分類(lèi)，具有重要理論意義和應(yīng)用價(jià)值。
　　論文首先分析了傳統(tǒng)的文本分類(lèi)算法存在的問(wèn)題:(1)提取特征向量速度慢，效率低。因?yàn)楹Ａ繑?shù)據(jù)的特征空間趨近無(wú)窮開(kāi)放，但是傳統(tǒng)的文本表示算法使用批處理的方式進(jìn)

2、行離線(xiàn)的特征提取，不僅計(jì)算效率低，而且內(nèi)存占用大，甚至導(dǎo)致內(nèi)存溢出等嚴(yán)重問(wèn)題。(2)傳統(tǒng)的分類(lèi)器不適合在大數(shù)據(jù)計(jì)算框架中進(jìn)行計(jì)算。海量數(shù)據(jù)通常使用分布式并行計(jì)算的方式進(jìn)行處理，而傳統(tǒng)的分類(lèi)算法，例如SVM，樸素貝葉斯分類(lèi)器，并不適合分布式并行計(jì)算。另外，深度學(xué)習(xí)算法，雖然廣泛運(yùn)用在語(yǔ)義識(shí)別中，但是應(yīng)用在文本分類(lèi)系統(tǒng)時(shí)卻是成效甚微，反而需要耗費(fèi)很長(zhǎng)時(shí)間進(jìn)行模型訓(xùn)練，收益并不明顯。
　　因此，針對(duì)以上問(wèn)題，論文主要在文本表示、分類(lèi)器設(shè)

3、計(jì)兩個(gè)方面進(jìn)行研究和探索，主要工作如下:
　　(1)在文本表示方面，提出了基于流數(shù)據(jù)的在線(xiàn)分域特征選擇算法（OFFS算法）。該算法對(duì)向量空間模型進(jìn)行改進(jìn)，可以對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)的特征提取，快速生成文本向量。解決了傳統(tǒng)特征提取算法效率低、耗費(fèi)內(nèi)存等問(wèn)題。
　　(2)在分類(lèi)器設(shè)計(jì)方面，設(shè)計(jì)出基于BP神經(jīng)網(wǎng)絡(luò)與OFFS算法相結(jié)合的OFFS-BP神經(jīng)網(wǎng)絡(luò)文本分類(lèi)器。該分類(lèi)器適應(yīng)了分布式并行計(jì)算環(huán)境，減少模型訓(xùn)練時(shí)間，能夠兼顧計(jì)算效率和