基于社會化標(biāo)簽的Web網(wǎng)頁搜索的優(yōu)化技術(shù)研究.pdf

1、伴隨著 Web2.0技術(shù)的發(fā)展，以 Del.icio.us和Flickr為代表的社會化標(biāo)注類網(wǎng)站迅速崛起，在這些網(wǎng)站上，用戶首先需要注冊獲取一個用戶名，隨后就可以發(fā)布并標(biāo)注自己的資源，同時也可以標(biāo)注其他人的資源。被標(biāo)注的資源有很多種，例如：圖片（Flickr），書簽（Del.icio.us），視頻（YouTube）等，對于用戶對資源的標(biāo)注目前人們習(xí)慣稱之為社會化標(biāo)簽。隨著社會化標(biāo)注類網(wǎng)站的迅速發(fā)展，累積了越來越多的社會化標(biāo)簽資源，再加上

2、社會化標(biāo)簽本身所具有的用戶相關(guān)性強、真實度高等特征，如何更好地利用社會化標(biāo)簽已成為人們關(guān)注的熱點。
　　社會化標(biāo)簽體現(xiàn)了用戶對資源內(nèi)容的著重點或者興趣點，往往能夠較真實地反映大眾的觀感。社會化分類標(biāo)簽是廣大用戶使用自己的語言自由添加的，它比 Web網(wǎng)頁本身的標(biāo)題更加豐富，其次，社會化分類比機器自動抽取出來的元數(shù)據(jù)更加準(zhǔn)確。再有，社會化關(guān)系網(wǎng)絡(luò)中的三種實體（用戶，資源，標(biāo)簽）之間存在的結(jié)構(gòu)關(guān)系。本文充分利用了社會化分類標(biāo)簽的這些特點

3、，將其應(yīng)用到了Web搜索技術(shù)的優(yōu)化中，主要完成了以下三個方面的工作：
　　第一，本文對如何從社會化標(biāo)注類網(wǎng)站中大量抽取社會化標(biāo)簽進(jìn)行了研究。抽取過程分為兩個階段：網(wǎng)頁爬取和網(wǎng)頁解析。網(wǎng)頁爬取中通過對網(wǎng)頁url的控制，成功爬取了大量包含標(biāo)簽資源的網(wǎng)頁，網(wǎng)頁解析中通過對爬取的網(wǎng)頁分析，找取了這些網(wǎng)頁中標(biāo)簽、用戶和被標(biāo)注 url的特征，利用這些特征將這三種信息抽取了出來，并保存到了SqlServer數(shù)據(jù)庫中。
　　第二，對社會化標(biāo)

4、注類網(wǎng)站進(jìn)行了模型化表示，將其構(gòu)造成一個無向三元圖。接著簡要介紹了PageRank算法，并根據(jù)其思路，在社會化網(wǎng)絡(luò)中提出了PageRank-like算法，利用此算法計算出web網(wǎng)頁的受歡迎度。
　　第三，使用經(jīng)典的排序?qū)W習(xí)算法RankNet，將Web網(wǎng)頁的受歡迎度同傳統(tǒng)檢索模型相結(jié)合，對傳統(tǒng)排序結(jié)果進(jìn)行了重排序，并對重排序后的結(jié)果進(jìn)行了重排序，發(fā)現(xiàn)重排序后的結(jié)果明顯優(yōu)于傳統(tǒng)排序結(jié)果。RankNet中使用的訓(xùn)練集和評測排序結(jié)果的測試