基于隱馬爾科夫過(guò)程的Blog相似性分析方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，結(jié)構(gòu)相似內(nèi)容相同的Blog網(wǎng)頁(yè)越來(lái)越多。這些Blog網(wǎng)頁(yè)會(huì)占用大量的網(wǎng)絡(luò)存儲(chǔ)資源，同時(shí)用戶在進(jìn)行Blog檢索時(shí)的準(zhǔn)確率也會(huì)降低，于是有必要對(duì)Blog的相似性加以分析，目的在于提高Blog檢索效率。將HMM應(yīng)用到Blog網(wǎng)頁(yè)識(shí)別中去就是這一背景下的產(chǎn)物。
　　 本文首先研究分析了文本相似性算法和Web相似性算法，介紹了Web網(wǎng)頁(yè)的分析與識(shí)別以及Blog網(wǎng)頁(yè)的分析與識(shí)別。提出了使用DoeView模型來(lái)定義W

2、eb網(wǎng)頁(yè)，使用半結(jié)構(gòu)化數(shù)據(jù)來(lái)標(biāo)識(shí)Web網(wǎng)頁(yè)內(nèi)容，并通過(guò)文本相似性的算法來(lái)對(duì)Web網(wǎng)頁(yè)進(jìn)行過(guò)濾；其次，分析Blog網(wǎng)頁(yè)結(jié)構(gòu)特點(diǎn)，在此基礎(chǔ)上對(duì)Blog網(wǎng)頁(yè)加以定義，同時(shí)提出了Blog網(wǎng)頁(yè)粗分類和細(xì)分類的方法。
　　 本文對(duì)HMM的特點(diǎn)進(jìn)行了研究，得出了可以將HMM應(yīng)用到Blog網(wǎng)頁(yè)識(shí)別中的結(jié)論。首先HMM的三個(gè)基本問(wèn)題分別是評(píng)估問(wèn)題、解碼問(wèn)題和學(xué)習(xí)(或稱訓(xùn)練)問(wèn)題，針對(duì)于這三個(gè)問(wèn)題分別提出了前向-后向(Forward-backwar

3、d)算法、Viterbi算法和Baum-Welch估計(jì)算法加以解決。然后構(gòu)建了基于Blog網(wǎng)頁(yè)結(jié)構(gòu)相似性的HMM以及基于Blog網(wǎng)頁(yè)關(guān)鍵詞相似性的HMM。兩種模型構(gòu)建好之后就開(kāi)始做HMM的訓(xùn)練過(guò)程。訓(xùn)練過(guò)程的步驟為訓(xùn)練集合、分離單詞、特征抽取、機(jī)器學(xué)習(xí)、預(yù)測(cè)記憶和預(yù)測(cè)集合。定義閾值并進(jìn)行模型測(cè)試。
　　 本論文取得的成果有：
　　 1、在HMM設(shè)計(jì)過(guò)程中，改進(jìn)了Blog網(wǎng)頁(yè)關(guān)鍵詞相似度的一般計(jì)算方法，對(duì)關(guān)鍵詞出現(xiàn)的頻度進(jìn)