漢語主客觀文本分類及預(yù)處理研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的一個非常重要的手段。但是隨著信息爆炸似的增長，人們很難在較短的時間內(nèi)找到自己所需要的信息，這也就是信息過載的問題。文本分類是當前數(shù)據(jù)挖掘的一個重要研究方向。一些應(yīng)用方面的工作，如對電子商務(wù)的評價，民意調(diào)查的結(jié)果等等都需要對文本進行挖掘。然而，從海量的信息中人工查找具有意見性的主觀性文本是不現(xiàn)實的。 在本文中，我們提出一個方法來針對主客觀文本進行分類。通過分析主客觀文本之間存在的差別來抽

2、取能夠區(qū)別它們的一些特征。最終應(yīng)用樸素貝葉斯和支持向量機模型，用特征項的不同組合對其進行主客觀文本分類，力爭達到最優(yōu)效果。 隨著即時通信軟件（Instant Messaging）的普及（如MSN，QQ等），一種非規(guī)范語言就廣泛出現(xiàn)于其中。在這些環(huán)境中使用的特殊語言被稱為為網(wǎng)絡(luò)非規(guī)范語言（Network Informal Language，NIL）表達。例如在網(wǎng)絡(luò)聊天中常用“8錯”取代“不錯”，用“稀飯”表示“喜歡”等等。在傳統(tǒng)的

3、文本挖掘中，這些信息都被視為噪音。但事實上，包含這些非規(guī)范詞語的句子經(jīng)常會存在用戶的表達個人意愿的信息。舉個例子，“這款車型還是受廣大車迷稀飯的！”可以看出，在這個句子里面，“稀飯”表達“喜歡”。通過這句話持有者表達了自己對某一車型的觀點和看法。 在本文工作中，文本預(yù)處理研究就是對這些主觀性的文本進行正規(guī)化處理。首先通過編寫特定的網(wǎng)絡(luò)蜘蛛程序收集某論壇上一定時間段內(nèi)的網(wǎng)頁。對網(wǎng)頁進行人工篩選，構(gòu)建非規(guī)范語言詞典。最終將互聯(lián)網(wǎng)上常