文本數(shù)據(jù)處理及分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的快速推進(jìn),人們接觸的信息資源呈爆炸性發(fā)展的趨勢,同時(shí),人們獲得信息的方式和途徑也呈現(xiàn)多元化發(fā)展的態(tài)勢。如何從這些錯(cuò)綜復(fù)雜的信息中全面、準(zhǔn)確無誤地提取自己所需信息,幫助用戶收集自己所感興趣的資料成為當(dāng)前信息科技領(lǐng)域的一大研究熱點(diǎn)。
　　數(shù)據(jù)挖掘作為一種揭示數(shù)據(jù)模式和數(shù)據(jù)間關(guān)系的處理技術(shù),它通過對海量復(fù)雜數(shù)據(jù)深入的剖析,挖掘出數(shù)據(jù)內(nèi)部新的關(guān)系或潛在的趨勢,為數(shù)據(jù)提取和知識發(fā)現(xiàn)提供了一種良好的解決方法。其中,文本分類作為

2、數(shù)據(jù)挖掘中一個(gè)常見的研究熱點(diǎn)方向,按照一定的規(guī)則利用訓(xùn)練完成的分類器標(biāo)記沒有分類的文本的類別,在很多方面有著很是廣泛的應(yīng)用范圍。
　　二十世紀(jì)九十年代之前的文本分類純靠人工操作去完成。人工方法要求參與分類的人員要具有相應(yīng)領(lǐng)域的專業(yè)知識,根據(jù)個(gè)人的知識儲備對文檔進(jìn)行類別的劃分。這種分類方法不僅耗費(fèi)大量時(shí)間,而且浪費(fèi)大量人力資源,不同人員可能由于主觀原因?qū)ν晃谋敬嬖诓煌姆诸愐庖?引起分類結(jié)果存在多個(gè)不同值,所以人工方法難以保持分類

3、結(jié)果的準(zhǔn)確性。后來,對機(jī)器學(xué)習(xí)的研究不斷深入,機(jī)器學(xué)習(xí)的知識逐漸應(yīng)用到文本分類中并得到長足發(fā)展。這種分類方法首先通過對待分類文本的預(yù)處理,包括去停留詞、詞根還原,網(wǎng)頁可能還需去除一些網(wǎng)頁標(biāo)記等,通過這步的處理,將對分類不起作用或起很小作用的文本元素去除;然后運(yùn)用特征提取算法,提取出可以表示文檔所屬主題(即文檔所屬的類別)的特征;建立適合分類的特定模型,對分類器用處理過的文本去訓(xùn)練;訓(xùn)練完畢,分類測試及評價(jià)。相比于人工方法,基于機(jī)器學(xué)習(xí)的

4、文本分類不僅分類速度快,減少了大量的人力、物力輸出,而且有效的提高了分類結(jié)果的準(zhǔn)確率。
　　但無論是利用信息增益、互信息還是向量聚合等技術(shù)進(jìn)行文本的特征提取,都沒有考慮文本內(nèi)部單字、詞語、句子等元素之間的隱含關(guān)系對分類結(jié)果的影響;而且目前的信息數(shù)據(jù)呈現(xiàn)高維、非線性等特征,沿用傳統(tǒng)的特征提取算法會造成對現(xiàn)有數(shù)據(jù)的分析達(dá)不到穩(wěn)健性和高準(zhǔn)確性要求。
　　對于上面存在的幾個(gè)問題,本文提出一種新的處理辦法用于數(shù)據(jù)處理方面。在充分分析同

5、義詞詞林(擴(kuò)展版)的編碼及結(jié)構(gòu)特點(diǎn)的情況下,將詞林中的詞語相似度計(jì)算方法應(yīng)用到文本數(shù)據(jù)處理上以此強(qiáng)化特征項(xiàng)的權(quán)重,在對知網(wǎng)的結(jié)構(gòu)充分了解的情況下利用知網(wǎng)中的詞語相關(guān)度計(jì)算方法實(shí)現(xiàn)特征向量權(quán)重的再賦值;通過非線性的降維算法中的局部線性嵌入算法實(shí)現(xiàn)降維處理。
　　本文所做主要工作如下:
　　(1)實(shí)驗(yàn)采用的語料庫中的訓(xùn)練文本集和測試文本集都存在垃圾數(shù)據(jù),例如,有的文檔只有文章頭,沒有實(shí)際文章內(nèi)容;有的文檔是個(gè)空文檔;存在重復(fù)的文

6、檔等,這樣的文檔對分類不起任何作用,反而在一定程度上可能會對分類結(jié)果造成影響,通過對語料庫的降噪處理,去除無用的數(shù)據(jù),保留對分類有用的數(shù)據(jù)。
　　(2)一篇文章一個(gè)概念可以用不同的詞語表達(dá),例如,同時(shí)表達(dá)“高興”之意,可能有的人會用“歡快”,有的人會用“愉悅”,這樣的確可以提高文章的可讀性,這樣在豐富文章閱讀性的同時(shí),但對特征提取帶來一定困難。電腦不像人可以很簡單的分辨出同義詞、近義詞,容易導(dǎo)致在特征提取時(shí)把概念一樣的詞語提取成不

7、同主題的特征,從而影響分類結(jié)果。針對這個(gè)問題,將詞林中的詞語相似度計(jì)算方法應(yīng)用到文本數(shù)據(jù)處理上,對相似度值達(dá)到一定閾值的詞語進(jìn)行合并以此強(qiáng)化特征項(xiàng)的權(quán)重,盡可能減小問題帶來的不必要的影響。
　　(3)為了挖掘出文本內(nèi)部字詞句元素之間的隱含關(guān)系,利用知網(wǎng)中的詞語相關(guān)度計(jì)算方法實(shí)現(xiàn)特征向量權(quán)重的再賦值,以此提高結(jié)果的準(zhǔn)確性。
　　(4)局部線性嵌入算法與傳統(tǒng)特征提取算法相比,能夠提取出原本在高維數(shù)特征空間中的較低維數(shù)的流形,降維