搜索引擎中倒排列表距離約束求交算法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈爆炸式增長，導(dǎo)致信息過載問題越來越嚴(yán)重，大量無關(guān)的冗余信息增加了用戶獲取準(zhǔn)確信息的難度。而搜索引擎作為一種有效解決信息過載的手段，能夠幫助用戶高效收集和過濾可用信息，因此始終在互聯(lián)網(wǎng)中占據(jù)重要地位。目前主流搜索引擎發(fā)展到以用戶需求為中心、貼近用戶意圖的精確搜索階段，開發(fā)者們不斷研究新技術(shù)來試圖獲取需求信息。另一方面用戶查詢需求越來越多樣化，除了傳統(tǒng)文本搜索之外，圖片搜索、語音搜索也有很大的需求空間。這

2、些都對(duì)倒排索引結(jié)構(gòu)帶來了很大的挑戰(zhàn)。作為查詢請(qǐng)求處理更細(xì)化、更準(zhǔn)確化的一個(gè)例子，本文主要研究距離約束條件在索引求交中的作用，即請(qǐng)求處理時(shí)不僅考慮多個(gè)查詢?cè)~在文檔中共同出現(xiàn)，同時(shí)考慮根據(jù)查詢?cè)~間的距離賦予結(jié)果文檔不同的分?jǐn)?shù)，滿足用戶不同需求。
　　本文一方面通過設(shè)計(jì)新的倒排索引結(jié)構(gòu)，研究在新數(shù)據(jù)結(jié)構(gòu)下，既能高效地計(jì)算滿足距離限制的結(jié)果文檔，又能計(jì)算忽略距離限制的結(jié)果文檔的方法，方便獲得更多結(jié)果，賦予不同優(yōu)先級(jí)，滿足用戶不同需求，進(jìn)而

3、減輕緊密度篩選等后續(xù)計(jì)算的壓力，增大有效數(shù)據(jù)的吞吐量，提高查詢結(jié)果的質(zhì)量;另一方面希望通過使用并行技術(shù)等手段，對(duì)帶緊密度分?jǐn)?shù)計(jì)算的檢索過程進(jìn)行優(yōu)化，提高查詢處理的速度。此外，參考傳統(tǒng)倒排索引結(jié)構(gòu)下的請(qǐng)求處理對(duì)算法進(jìn)行優(yōu)化，例如在考慮距離限制的前提下，結(jié)合倒排列表長度，調(diào)整倒排列表的計(jì)算次序和計(jì)算條件，降低布爾運(yùn)算復(fù)雜度等等。實(shí)驗(yàn)表明，本文提出的新數(shù)據(jù)結(jié)構(gòu)和相關(guān)算法在帶距離限制的求交算法上具備一定優(yōu)勢，提高了整體檢索速度，同時(shí)，優(yōu)化了返回