Web信息檢索排序函數(shù)技術(shù)研究.pdf

1、Web作為信息的發(fā)布與獲取渠道給人們帶來了巨大便利，與此同時，海量Web信息環(huán)境中人們獲取有用信息的困難日益凸現(xiàn)，即所謂的“信息爆炸”與“信息湮沒”現(xiàn)象并存。人們只能求助于Web信息檢索工具——搜索引擎來獲取web上的有用信息，然而實際效果卻難以讓人滿意。 排序函數(shù)是信息檢索系統(tǒng)的核心。排序函數(shù)以某種準(zhǔn)則計算文檔表示與用戶查詢表示的匹配程度，并據(jù)此對文檔排序，最終返回一個有序的文檔列表作為檢索的結(jié)果。本文研究Web信息檢索排序函

2、數(shù)技術(shù)。 本文研究Web信息檢索排序函數(shù)技術(shù)，研究的主要內(nèi)容包括以下三方面： (1)基于統(tǒng)計語言模型的信息檢索方法及其在中文信息檢索中的應(yīng)用。首先深入分析研究了信息檢索中的各種統(tǒng)計語言模型，并做了統(tǒng)計語言模型和傳統(tǒng)概率檢索模型的對比研究。重點研究了N-Gram模型在中文信息檢索中的應(yīng)用。研究表明，利用一元語言模型，中文信息檢索可以取得和目前主流檢索算法相當(dāng)?shù)男阅?，但是卻略過了分詞這一環(huán)節(jié)。最后，分析了統(tǒng)計語言模型的不足，

3、提出了改進的思想，指出Web環(huán)境中研究的重點為統(tǒng)計語言模型框架下Web文檔結(jié)構(gòu)信息的表達。 (2)Web信息檢索結(jié)構(gòu)化排序函數(shù)及標(biāo)引詞加權(quán)技術(shù)。從Web文檔內(nèi)部結(jié)構(gòu)和外部結(jié)構(gòu)兩方面深入探討了Web信息檢索結(jié)構(gòu)化排序函數(shù)技術(shù)，即基于超鏈分析和基于Web文檔內(nèi)部結(jié)構(gòu)的排序算法。指出了對提高Web檢索性能有著重要意義的數(shù)個文檔結(jié)構(gòu)(標(biāo)題、粗體、元數(shù)據(jù)、錨文本等)，同時指出有效的Web檢索算法是結(jié)合文檔內(nèi)容、超鏈分析及文檔結(jié)構(gòu)信息的混合