主題Web挖掘算法研究與應(yīng)用.pdf

1、萬(wàn)維網(wǎng)已經(jīng)和我們生活的各個(gè)方面緊密聯(lián)系在一起了。我們使用它獲取信息，與人們進(jìn)行交流，使用萬(wàn)維網(wǎng)更加高效地工作，進(jìn)行各項(xiàng)社會(huì)活動(dòng)。如何從Web上快速準(zhǔn)確的檢索到用戶(hù)所需信息成為亟待解決的問(wèn)題。為應(yīng)對(duì)這一問(wèn)題，在信息檢索領(lǐng)域產(chǎn)生了主題Web挖掘這一研究課題。它的基本思想可以概括為：根據(jù)用戶(hù)定義的某一主題，用主題爬蟲(chóng)遍歷網(wǎng)絡(luò)，收集與主題相關(guān)的頁(yè)面，然后將收集到的頁(yè)面進(jìn)行智能的分析，最后以友好的檢索方式滿(mǎn)足對(duì)某一特定主題的檢索要求。主題Web挖

2、掘涉及多個(gè)學(xué)科，包括機(jī)器學(xué)習(xí)、信息檢索、語(yǔ)言分析、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)等。主題Web挖掘具有廣泛的應(yīng)用前景，包括專(zhuān)業(yè)領(lǐng)域知識(shí)庫(kù)、企業(yè)決策支持、客戶(hù)流失分析、潛在客戶(hù)分析、企業(yè)管理優(yōu)化、行業(yè)趨勢(shì)分析等，與現(xiàn)有的通用搜索引擎相互補(bǔ)充。 本文在分析了主題Web挖掘的研究?jī)?nèi)容和當(dāng)前研究存在問(wèn)題的基礎(chǔ)上，將重點(diǎn)研究三個(gè)問(wèn)題：一是如何提高Web文本的分類(lèi)準(zhǔn)確率；二是如何提高主題爬蟲(chóng)的性能，特別是在反作弊方面改進(jìn)主題爬蟲(chóng)對(duì)頁(yè)面主題判定的準(zhǔn)確率；

3、三是根據(jù)以上研究，設(shè)計(jì)并實(shí)現(xiàn)了主題Web挖掘的原型系統(tǒng)Gsearch，是一個(gè)機(jī)器學(xué)習(xí)方面的主題搜索引擎，通過(guò)大量對(duì)比實(shí)驗(yàn)驗(yàn)證了本文提出的模型和算法的有效性。 本文的創(chuàng)新點(diǎn)主要體現(xiàn)在以下幾個(gè)方面： 1.本文在分析當(dāng)前主題爬蟲(chóng)缺少反作弊能力而影響爬蟲(chóng)準(zhǔn)確性的基礎(chǔ)上，提出了基于反作弊檢測(cè)技術(shù)的主題爬蟲(chóng)模型，并實(shí)現(xiàn)了antiSpam主題爬蟲(chóng)算法，使主題爬蟲(chóng)具有了反作弊的功能，提高了主題爬蟲(chóng)下載頁(yè)面的主題相關(guān)度，增強(qiáng)了主題爬蟲(chóng)的適

4、應(yīng)性。 2.本文將Web文本過(guò)濾問(wèn)題轉(zhuǎn)化為Web文本分類(lèi)問(wèn)題，提出了兩個(gè)Web文本分類(lèi)算法：基于聚類(lèi)的PSK—means算法和基于模糊認(rèn)知圖的correlation—FCM算法。PSK—means是對(duì)傳統(tǒng)的k—means算法的改進(jìn)，它預(yù)先將相似數(shù)據(jù)進(jìn)行合并，之后再進(jìn)行聚類(lèi)分析；correlation—FCM是一種基于模糊認(rèn)知圖的文本分類(lèi)推理算法，使文本分類(lèi)成為一個(gè)基于文本特征項(xiàng)的權(quán)和特征項(xiàng)與類(lèi)別的相關(guān)度構(gòu)成的模糊認(rèn)知圖進(jìn)行推理的

5、過(guò)程。通過(guò)在Gsearch平臺(tái)上大量實(shí)驗(yàn)，驗(yàn)證了算法的有效性。 3.本文設(shè)計(jì)并實(shí)現(xiàn)了面向機(jī)器學(xué)習(xí)領(lǐng)域的主題Web挖掘的原型系統(tǒng)Gsearch，用于驗(yàn)證本文中模型及算法的有效性。Gsearch包括Gcrawler主題爬蟲(chóng)模塊，分詞索引模塊，頁(yè)面評(píng)價(jià)模塊、Gminer數(shù)據(jù)挖掘模塊、查詢(xún)分析模塊及用戶(hù)界面。它具有跨平臺(tái)、分布式、高可擴(kuò)展等特性，實(shí)現(xiàn)了Web信息的下載、保存、歸檔、分析和查詢(xún)功能。該系統(tǒng)在很多應(yīng)用領(lǐng)域，包括企業(yè)決策支持、