面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著搜索服務(wù)的逐漸普及深化，用戶針對(duì)特定領(lǐng)域的搜索需求逐漸明確、對(duì)搜索結(jié)果的個(gè)性化程度和實(shí)時(shí)性要求逐漸增高，使得基于垂直搜索領(lǐng)域的高效信息檢索服務(wù)已成為搜索引擎市場的熱點(diǎn)。垂直搜索引擎通過聚焦抓取、智能調(diào)度、高維索引等技術(shù)，根據(jù)特定的領(lǐng)域知識(shí)和用戶的搜索習(xí)慣，為用戶提供特定垂直領(lǐng)域中時(shí)效性更高，更為個(gè)性化、專業(yè)化的搜索結(jié)果。
　　 然而現(xiàn)有大多數(shù)的垂直搜索引擎中存在1)爬蟲系統(tǒng)抓取模式被動(dòng)，目標(biāo)抓取與用戶查詢時(shí)延過長；2)爬蟲系

2、統(tǒng)抓取調(diào)度盲目，抓取資源利用率低；以及3)索引系統(tǒng)性能低下，對(duì)特定文本信息的特征提取與聚類缺乏有效算法等問題，已經(jīng)嚴(yán)重地桎梏了垂直搜索引擎市場的健康發(fā)展。本文試圖對(duì)這些熱點(diǎn)問題及其關(guān)鍵技術(shù)進(jìn)行系統(tǒng)性研究。本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下：
　　 1.爬蟲系統(tǒng)的主動(dòng)式聚焦抓取技術(shù)研究
　　 針對(duì)爬蟲系統(tǒng)抓取模式被動(dòng)，目標(biāo)抓取與用戶查詢時(shí)延過長的問題，提出了語義驅(qū)動(dòng)的查詢驅(qū)動(dòng)聚焦抓取技術(shù)，基于領(lǐng)域知識(shí)理解用戶查詢，提供了查詢向目標(biāo)

3、網(wǎng)頁的語義轉(zhuǎn)換，實(shí)現(xiàn)了針對(duì)用戶查詢的主動(dòng)式抓取，解決了目標(biāo)抓取與用戶查詢時(shí)延過長的問題。充分的實(shí)驗(yàn)和在真實(shí)項(xiàng)目中的初步應(yīng)用表明，查詢驅(qū)動(dòng)聚焦抓取技術(shù)為用戶提供了10秒級(jí)搜索結(jié)果，大大降低了時(shí)延，極大的提高了用戶體驗(yàn)。
　　 2.爬蟲系統(tǒng)的智能調(diào)度技術(shù)研究
　　 針對(duì)爬蟲系統(tǒng)抓取調(diào)度盲目、利用率低的問題，基于網(wǎng)頁文檔變化的泊松過程建模，在對(duì)單個(gè)對(duì)象新鮮度進(jìn)行定量估算的基礎(chǔ)上，提出對(duì)象級(jí)細(xì)粒度資源調(diào)度算法PoissonRan

4、k，實(shí)現(xiàn)了針對(duì)變化的抓取調(diào)度，極大地提高了抓取資源的利用率。仿真分析和商用項(xiàng)目中的應(yīng)用表明了該模型的有效性，該調(diào)度技術(shù)能提高抓取資源利用率并更好的捕捉對(duì)象的變化。大量真實(shí)環(huán)境中的實(shí)驗(yàn)驗(yàn)證了對(duì)象分布規(guī)律和泊松過程建模的正確性以及用戶體驗(yàn)的提升，同時(shí)PoissonRank對(duì)系統(tǒng)帶來的額外開銷很低，具有很高的可擴(kuò)展性。
　　 3.索引系統(tǒng)中高維索引的在線更新技術(shù)研究
　　 針對(duì)索引系統(tǒng)中多媒體高維索引在線更新效率低下的問題，對(duì)

5、高維索引中的LSH算法進(jìn)行優(yōu)化，提出了基于壓縮位圖(Compressed Bitmap)的CB-LSH高維索引技術(shù)，通過算子布爾代數(shù)化后引入壓縮位圖索引對(duì)LSH的添刪改性能進(jìn)行了全面提升，解決了高維索引在線更新的性能問題。理論分析證明了CB-LSH在空間占用和時(shí)間復(fù)雜度上的改善；大量真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的LSH算法相比，CB-LSH節(jié)約了三分之一的內(nèi)存占用，刪除性能提高了近一個(gè)數(shù)量級(jí)，查詢性能提高了數(shù)倍，插入性能提高了約一半

6、；真實(shí)項(xiàng)目驗(yàn)證了CB-LSH應(yīng)用于在線實(shí)時(shí)更新的海量多媒體對(duì)象檢索系統(tǒng)中是有效可行的。
　　 4.索引系統(tǒng)中文本信息的結(jié)果合并技術(shù)研究
　　 針對(duì)垂直領(lǐng)域中文本信息長度短、專業(yè)性強(qiáng)、噪音多，索引系統(tǒng)中聚類效果差的問題，提出了一種基于自然語言觸發(fā)對(duì)的文本聚類技術(shù)TrigSigs，基于一階觸發(fā)對(duì)充分挖掘詞匯隱含屬性的關(guān)聯(lián)關(guān)系，學(xué)習(xí)領(lǐng)域?qū)I(yè)詞匯、去除噪音詞匯并提取關(guān)鍵特征詞匯，實(shí)現(xiàn)了細(xì)粒度對(duì)象級(jí)聚類技術(shù)。仿真實(shí)驗(yàn)表明，該算法可