多類標聚類樹分類方法優(yōu)化及并行化實現(xiàn).pdf

1、近年來,多類標分類問題成為學術研究的一個熱點,多類標分類技術是解決多類標分類和類標排序兩大任務的重要技術手段,為了更有效地解決多類標文本分類問題,一種新的基于聚類樹的多類標文本分類算法在2011年被提出,并得到了充分的實驗驗證。但是基于多類標聚類樹文本分類算法在分類策略上也存在著不足,沒能充分利用類標間的信息,對樣本的分類預測完全依賴于類標掩蓋數組和純度。同時,隨著互聯(lián)網的發(fā)展,數據規(guī)模不斷擴大,如何在海量數據下加快算法運行速度也是本文

2、關注的問題。
　　本文圍繞多類標聚類樹文本分類算法存在的問題以及如何實現(xiàn)算法并行化的問題進行深入研究,具體研究內容及成果如下:
　　(1)全面對現(xiàn)有的多類標分類算法進行調研和深入分析,總結各算法的優(yōu)缺點,總結目前基于MapReduce框架的機器學習并行化算法。
　　(2)深入闡述多類標聚類樹分類算法,分析其理論和算法流程,分析該算法的存在的問題。
　　(3)針對多類標聚類樹分類算法在分類策略上存在的不足,提出了兩

3、種優(yōu)化策略。第一種是基于基分類器的優(yōu)化策略,使用基分類器在沿著決策路徑對待測樣本進行輔助分類和類標置信度計算,有助于提高分類器分類的性能。第二種是利用皮爾森積差相關系數表示類標間的相關性優(yōu)化算法,進一步地提升類標排序的性能;
　　(4)針對如何在海量數據下加快算法的運行速度問題,提出算法并行化的思路,進而在MapReduce框架下實現(xiàn)了多類標聚類樹分類方法的并行化。
　　(5)通過實驗,本文證明了兩種多類標聚類樹文本分類方法