垂直搜索引擎中分詞和排序技術的研究與應用.pdf

1、計算機與網(wǎng)絡信息技術的快速發(fā)展，促使當今社會進入了網(wǎng)絡信息時代，各個領域的數(shù)據(jù)和信息急劇增多，海量數(shù)據(jù)豐富了人們的生活，同時也增加了用戶對信息的篩選時間。如何從這些雜亂無章的龐大數(shù)據(jù)和強干擾的信息中搜索出有利用價值的信息，這對人類的智能信息處理能力提出了空前的挑戰(zhàn)。在某些專業(yè)領域，通用搜索引擎的信息查全率和查準率都在不斷下降，而用戶對獲取更加精準和詳細的專業(yè)信息的需求卻在不斷增長。
　　面對這些挑戰(zhàn)，誕生了針對特定領域和個性化信息

2、檢索的垂直搜索引擎?；贚ucene的垂直搜索引擎已經(jīng)成為當今搜索引擎和Web信息挖掘中的一個研究熱點和難點，本文的研究就是以這一熱點和難點技術而展開的，主要工作如下:
　　第一，對垂直搜索引擎的相關研究進展和現(xiàn)狀進行了分析，介紹了垂直搜索引擎的組成并細述了其工作原理;概述了全文檢索引擎Lucene的相關技術，包括Lucene框架構成、索引技術和搜索機制等，并對Lucene索引和數(shù)據(jù)庫索引進行了比較。
　　第二，針對通用分詞

3、系統(tǒng)對領域分詞的效果不理想這一問題，研究了垂直搜索引擎的中文分詞算法;分析圖書領域詞匯的特點，提出了一種帶詞長的雙字哈希詞典機制，并在此機制的基礎上改進了正向最大匹配分詞算法;
　　第三，針對Lucene中排序技術只關注網(wǎng)頁內(nèi)容而忽視網(wǎng)頁本身的重要性這一問題，研究了基于鏈接的網(wǎng)頁排序算法;在考慮圖書數(shù)據(jù)特點和網(wǎng)頁的重要性的基礎上，改進了基于PageRank的Lucene排序算法。
　　第四，在分詞和排序改進的基礎上，設計和實