信息檢索中的排序與相關(guān)度計算研究.pdf

1、隨著社會信息化進(jìn)程的不斷發(fā)展，人們對信息的需求和依賴程度越來越高，如何從海量信息中快速有效的獲取有用信息，已經(jīng)成為人們研究的焦點(diǎn)。信息檢索的研究可以幫助人們有效的找到感興趣的信息，幫助用戶發(fā)現(xiàn)對自己有用的知識。 信息檢索的核心問題就是預(yù)測文檔的相關(guān)度，并按照其相關(guān)度對文檔進(jìn)行排序，一般而言，排在最頂端的文檔被認(rèn)為最相關(guān)。因此，相關(guān)性的計算和排序算法就成為信息檢索的核心。傳統(tǒng)的信息檢索主要采用向量空間模型計算相關(guān)度，該模型也多用于

2、Web信息檢索。但Web網(wǎng)頁與普通文檔相比，有很多獨(dú)特的特征，如單個Web網(wǎng)頁具有URL、HTML Tag、Anchor Text、入度：同時Web網(wǎng)頁之間具有超鏈接，分析這種超鏈接關(guān)系，可以改進(jìn)檢索結(jié)果的排序效果。而Deep Web是一種特殊的Web資源，其信息存儲在數(shù)據(jù)庫中，用戶只能通過一些含表單的網(wǎng)頁對其訪問，但是這些網(wǎng)頁中所含內(nèi)容較少，網(wǎng)頁之間鏈接關(guān)系較少，若采用一般的Web檢索相關(guān)度計算方法，會得到很差的效果。 本文的

3、研究主要著眼于Web和Deep Web信息檢索領(lǐng)域，有以下幾個方面的貢獻(xiàn)： 1.實(shí)現(xiàn)了一個基于向量空間模型的全文檢索系統(tǒng)，對如何利用Web網(wǎng)頁的HTML 標(biāo)簽、錨文本、入度特征來改進(jìn)相關(guān)度計算進(jìn)行了研究。并針對Web網(wǎng)頁的URL特征，給出了對檢索結(jié)果重排序的方法。該系統(tǒng)在國內(nèi)文本檢索會議(SEWM2007)中表現(xiàn)較好，取得了一定的成績。 2.針對Web網(wǎng)頁之間的鏈接特征，提出了一種面向主題的頁面重要度計算方法，新算法基于

4、PageRank超鏈接分析算法，考慮了網(wǎng)頁內(nèi)容與主題的相關(guān)度、主題信息對網(wǎng)頁間鏈接的分類和web頁面自身重要度等因素對網(wǎng)頁重要度計算的影響。實(shí)驗證明針對具體領(lǐng)域，該算法在P@10和用戶滿意度等方面優(yōu)于PageRank算法。 3.給出了計算Deep Web數(shù)據(jù)庫之間語義相關(guān)度的兩種算法。第一個算法基于向量空間模型，但在計算數(shù)據(jù)庫表之間的語義相關(guān)度時，綜合考慮了含有數(shù)據(jù)庫表的網(wǎng)頁內(nèi)容和數(shù)據(jù)庫表之間的語義距離。且利用模糊分層集合，把同