基于K-means的網(wǎng)絡(luò)話題自動(dòng)檢測(cè)技術(shù)研究.pdf

1、如今,現(xiàn)代通信技術(shù)及互聯(lián)網(wǎng)技術(shù)高速發(fā)展,如何對(duì)互聯(lián)網(wǎng)上最新發(fā)生的熱點(diǎn)、敏感事件進(jìn)行第一時(shí)間發(fā)現(xiàn),并對(duì)其進(jìn)一步的發(fā)展動(dòng)態(tài)進(jìn)行自動(dòng)追蹤,成為海量網(wǎng)絡(luò)信息處理領(lǐng)域的研究熱點(diǎn)。本文研究網(wǎng)絡(luò)主題自動(dòng)檢測(cè)技術(shù),主要包括:網(wǎng)絡(luò)數(shù)據(jù)采集、網(wǎng)頁(yè)內(nèi)容提取、命名實(shí)體提取及主題自動(dòng)檢測(cè)技術(shù),主要取得如下四個(gè)方面的研究成果:
　　 (1)研究網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù),在傳統(tǒng)web數(shù)據(jù)采集的基礎(chǔ)上構(gòu)造分布式網(wǎng)絡(luò)數(shù)據(jù)采集體系,完成對(duì)大規(guī)模動(dòng)態(tài)網(wǎng)絡(luò)數(shù)據(jù)的分布式采集。該

2、采集體系在網(wǎng)絡(luò)數(shù)據(jù)一般結(jié)構(gòu)的基礎(chǔ)上,采用“主從分布、自主協(xié)同”的分布式采集體系架構(gòu),融入多種采集策略,實(shí)現(xiàn)大規(guī)模動(dòng)態(tài)網(wǎng)絡(luò)數(shù)據(jù)的高效采集。
　　 (2)研究網(wǎng)頁(yè)內(nèi)容提取,提出一種基于錨文字計(jì)算的網(wǎng)頁(yè)內(nèi)容提取方法。該方法針對(duì)網(wǎng)頁(yè)局部噪聲,該方法首先對(duì)網(wǎng)頁(yè)源碼進(jìn)行結(jié)構(gòu)分析,通過(guò)標(biāo)簽提取對(duì)網(wǎng)頁(yè)進(jìn)行內(nèi)容塊確定;其次,對(duì)內(nèi)容塊的錨文字比例進(jìn)行計(jì)算,采用一定閾值進(jìn)行網(wǎng)頁(yè)文本內(nèi)容判決;最后,通過(guò)計(jì)算每一個(gè)內(nèi)容塊與網(wǎng)頁(yè)標(biāo)題的比例,最終實(shí)現(xiàn)網(wǎng)頁(yè)文本

3、內(nèi)容的完整提取。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)提取方法相比,該方法網(wǎng)頁(yè)內(nèi)容提取完整性和準(zhǔn)確性都有較大提高。
　　 (3)研究命名實(shí)體提取技術(shù),提出一種自定義規(guī)則的命名實(shí)體提取方法。該方法針對(duì)中文命名實(shí)體標(biāo)注規(guī)范中出現(xiàn)的命名實(shí)體標(biāo)注錯(cuò)誤,采用正則表達(dá)式制定相應(yīng)規(guī)則對(duì)中文分詞結(jié)果進(jìn)行修正,在此基礎(chǔ)上完成對(duì)網(wǎng)絡(luò)命名實(shí)體的準(zhǔn)確提取。實(shí)驗(yàn)結(jié)果表明,該方法命名實(shí)體提取性能優(yōu)于直接提取方法,是一種有效的網(wǎng)絡(luò)命名實(shí)體提取方法。
　　 (4)研究網(wǎng)