中文網(wǎng)頁(yè)熱門(mén)主題獲取系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展，使得網(wǎng)絡(luò)成為民眾表達(dá)輿情民意的重要平臺(tái)，隨之產(chǎn)生的問(wèn)題是政府如何及時(shí)掌握輿情動(dòng)態(tài)、積極引導(dǎo)社會(huì)輿論，以維護(hù)社會(huì)的穩(wěn)定與和諧。因此，網(wǎng)絡(luò)輿情的研究具有重要意義。
　　 論文針對(duì)互聯(lián)網(wǎng)輿情信息挖掘技術(shù)進(jìn)行研究，具體包括：
　　 （1）網(wǎng)頁(yè)信息采集技術(shù)：論文分析了網(wǎng)絡(luò)傳輸過(guò)程中的協(xié)議類(lèi)型和網(wǎng)頁(yè)結(jié)構(gòu)，通過(guò)對(duì)獲得的IP數(shù)據(jù)包進(jìn)行過(guò)濾，實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)標(biāo)題的截取。
　　 （2）中文分詞技術(shù)：針對(duì)網(wǎng)頁(yè)標(biāo)題的結(jié)構(gòu)特點(diǎn)

2、，論文采用基于名詞的分詞方法，將分詞結(jié)果表示成數(shù)字序列的形式，以提高處理速度，減少算法的內(nèi)存開(kāi)銷(xiāo)。
　　 （3）數(shù)據(jù)流頻繁項(xiàng)集挖掘技術(shù)：根據(jù)數(shù)據(jù)流無(wú)限性和流動(dòng)性的特點(diǎn)，提出了一種在滑動(dòng)窗口中挖掘頻繁項(xiàng)集的算法FIM-SW。FIM-SW算法主要是采用垂直的數(shù)據(jù)庫(kù)表示方法，使用二進(jìn)制向量表示每個(gè)數(shù)據(jù)項(xiàng)，并利用Apriori性質(zhì)產(chǎn)生頻繁項(xiàng)集。實(shí)驗(yàn)結(jié)果表明，這種算法顯著地提高了挖掘效率。
　　 結(jié)合以上的研究，實(shí)現(xiàn)了中文網(wǎng)頁(yè)熱門(mén)