基于Topic的Blog隱含社區(qū)發(fā)現(xiàn).pdf

1、基于Topic的Blog的隱含社區(qū)發(fā)現(xiàn)為Blog的應(yīng)用研究開(kāi)辟了一個(gè)很有前途同時(shí)也具有相當(dāng)挑戰(zhàn)性的方向。隨著Intemet在人們生活中的廣泛應(yīng)用，Blog作為一種新型的網(wǎng)絡(luò)媒介交流工具迅速的發(fā)展，它以其自身的獨(dú)特的特點(diǎn)，深入到網(wǎng)絡(luò)的每個(gè)角落，影響著主流媒體、政治等社會(huì)的各個(gè)方面。通過(guò)對(duì)Blog page的搜索雖然可以找到人們需要的Blog頁(yè)面，但它在尋找人們討論的Topic方面有很大的局限性，遠(yuǎn)遠(yuǎn)無(wú)法滿(mǎn)足人們對(duì)Blog應(yīng)用的真正需要，也

2、無(wú)法發(fā)揮Blog自身所獨(dú)有的功能，因此，通過(guò)對(duì)Blog網(wǎng)頁(yè)的搜索，利用信息檢索、數(shù)據(jù)挖掘、信息提取、自然語(yǔ)言處理技術(shù)進(jìn)行Blog頁(yè)面內(nèi)容和Blog頁(yè)面之間鏈接關(guān)系的解析，同時(shí)，也從Blog個(gè)人的行為和內(nèi)容語(yǔ)言的表述特點(diǎn)進(jìn)行研究、分析，探測(cè)、發(fā)現(xiàn)Blog上的言論、看法、觀(guān)點(diǎn)對(duì)主流媒體和社會(huì)政治經(jīng)濟(jì)生活的影響，發(fā)現(xiàn)人們的興趣及愛(ài)好、對(duì)某一類(lèi)事物或產(chǎn)品的印象及其評(píng)價(jià)是什么，挖掘人們的潛在情感，所以，如何進(jìn)行發(fā)現(xiàn)、探測(cè)、尋找互連網(wǎng)上潛在的、隱含

3、的關(guān)于Blog的Topic社區(qū)就成為一個(gè)既有挑戰(zhàn)性又有實(shí)際應(yīng)用價(jià)值的課題。本文從理論探討和實(shí)際系統(tǒng)開(kāi)發(fā)兩個(gè)不同的角度來(lái)對(duì)基于Topic的隱含社區(qū)發(fā)現(xiàn)進(jìn)行了研究，主要完成了以下工作： 1)提出了一種基于SPC方法的Topic隱含社區(qū)發(fā)現(xiàn)算法。首先從互聯(lián)網(wǎng)上進(jìn)行Blog page的爬行，利用種子URL進(jìn)行種子URL的擴(kuò)充并提取Blog page的內(nèi)容，保存頁(yè)面的特征，從Blog page的內(nèi)容和Blog page之間的鏈接關(guān)系兩個(gè)方

4、面計(jì)算Topic和Blog page之間的相關(guān)度，本文在分析了相關(guān)研究資料的基礎(chǔ)上，提出了一種計(jì)算Blogentry與Topic相關(guān)度的算法，同時(shí)，把SPC在圖論中頂點(diǎn)權(quán)值和邊的權(quán)值的理論方法的應(yīng)用，引入到Blog社區(qū)隱含網(wǎng)絡(luò)的探測(cè)和發(fā)現(xiàn)中，進(jìn)行基于Blog的Topic的隱含網(wǎng)絡(luò)的發(fā)現(xiàn)，并取得了比較滿(mǎn)意的效果。試驗(yàn)結(jié)果表明社區(qū)的覆蓋率和社區(qū)的粘合度都有明顯的提高和改進(jìn)。 2)通過(guò)大量的試驗(yàn)分析了在Blog中隱含社區(qū)entry之間

5、及BLOG鏈接指向之間的特點(diǎn)，探討了它們對(duì)Blog隱含社區(qū)發(fā)現(xiàn)和探測(cè)的影響，同時(shí)，對(duì)特定Topic社區(qū)中的。Blogger，從Topic的活躍度和重要度兩個(gè)方面，根據(jù)各自的特征權(quán)值進(jìn)行倒序排序，提取前10個(gè)結(jié)果，進(jìn)行對(duì)比和分析Topic和Blogger的特征之間的關(guān)系、不同的Topic對(duì)Blogger的活躍度和重要度所產(chǎn)生的不同影響。 3)將SPC算法對(duì)Topic隱含社區(qū)的分析應(yīng)用于Blog搜索引擎的信息檢索系統(tǒng)，自動(dòng)的從互聯(lián)網(wǎng)