基于Web挖掘的中文專業(yè)搜索引擎設計關鍵技術研究.pdf

1、隨著WWW技術的廣泛應用,傳統(tǒng)的通用搜索引擎正面臨巨大的挑戰(zhàn),存在著查全率不高、檢索的精度不高、更新不及時、不能很好地表達用戶需求、提交的搜索結果中包含大量與用戶無關的信息、缺乏個性化和智能化等問題.同時,越來越多的不同領域的客戶群,他們急需的是能夠提供高效檢索其業(yè)內(nèi)信息的專業(yè)搜索引擎.面向特定主題信息的專業(yè)搜索引擎(Topic-Specific Search Engine),通過采用導向詞導引、定點采集、定題采集、網(wǎng)站結構挖掘等特有的

2、方法來提高查全率和查準率,保證其較高的時效性、專業(yè)性并提供更好的個性化服務,從而可高效地發(fā)掘特定領域的信息,提供有特色的檢索服務.本文闡述了基于Web信息挖掘技術的專業(yè)搜索引擎的設計與實現(xiàn),并著重分析了基于特定主題的爬取方法、網(wǎng)頁特征的綜合描述方法、網(wǎng)頁分類技術、專業(yè)分詞詞典的構造;通過對網(wǎng)頁的按功能分類及超鏈接分析,研究并建立了一種網(wǎng)站結構挖掘的模型;提出了類別向量和特征向量的特殊構造方法,利用改進的VSM方法將結構挖掘和內(nèi)容挖掘結合