基于NUTCH的中文新聞事件自動分類系統(tǒng)研究.pdf

1、伴隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，從異構(gòu)的、有噪聲的海量數(shù)據(jù)中獲取所需要的分類內(nèi)容，評判互聯(lián)網(wǎng)熱點事件，關(guān)注最新的熱點事件的動態(tài)，不斷成為搜索引擎、各類門戶及SNS社區(qū)吸引用戶、制定營銷方案等所需要首先解決的問題。誰掌握了確切的信息，誰就先一步掌握了事件發(fā)展的方向，在制定營銷方案時就會把握時代、用戶趨勢，在競爭中處于領(lǐng)先的地位。本文正是針對上述需求所撰寫的，力圖解決分類內(nèi)容獲取、熱點事件判定及熱點事件獲取等幾個方面的問題。由于本文所論述的內(nèi)容是基

2、于準(zhǔn)實時互聯(lián)網(wǎng)信息的，所以本文在論述時還會解決互聯(lián)網(wǎng)信息噪聲的問題。
　　 本文基于NUTCH的中文新聞事件自動分類系統(tǒng)研究，主要分為三個部分：⑴背景現(xiàn)狀分析。重點介紹當(dāng)前有關(guān)中文文本自動分類的分類方法、熱點事件的理論分析現(xiàn)狀及系統(tǒng)支撐技術(shù)。⑵理論闡述及相關(guān)特征分析。首先簡單而創(chuàng)新的使用了基于源代碼標(biāo)簽規(guī)則的網(wǎng)頁噪音去除算法清洗和過濾了互聯(lián)網(wǎng)上的網(wǎng)頁得到網(wǎng)頁的文本內(nèi)容，并進一步論述了相關(guān)的中文分詞、KNN分類理論、極度相關(guān)新聞事

3、件文檔的判定等鋪墊性內(nèi)容。通過構(gòu)建新聞事件歷史語料庫，對歷史語料庫進行分析獲得事件的相應(yīng)特征：主要有時間發(fā)展特征及詞特征，并綜合使用分詞技術(shù)、分類理論等建立了評價熱點事件的核心指標(biāo)，根據(jù)核心指標(biāo)建立了一套分析、判定、獲取熱點事件的流程框架。從而構(gòu)建出了分類及熱點事件獲取的兩大核心體系。⑶系統(tǒng)設(shè)計、實施及實驗評價。這一部分集中在第四、五章，重點論述了本文原型系統(tǒng)的架構(gòu)及系統(tǒng)核心模塊類的設(shè)計，主要論述了系統(tǒng)中使用的各種開源框架及技術(shù)，分析了