面向主題的網(wǎng)頁資源采集系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人類步入了互聯(lián)網(wǎng)時代，各種資源以互聯(lián)網(wǎng)為載體進行匯聚、整合，形成了一個龐大的信息庫。在浩如煙海的信息資源中，如何快速、準確、高效地獲取所需信息是亟待解決的問題。
　　搜索引擎作為信息檢索的工具，成為用戶獲取信息的主要方式。然而，傳統(tǒng)的搜索引擎存在著網(wǎng)頁索引規(guī)模大、更新速度慢以及查詢結(jié)果精度低等缺點，為解決這些突出問題，垂直搜索引擎應(yīng)運而生。主題信息采集系統(tǒng)作為垂直搜索引擎的重要組成部分，在搜索引擎中占有舉

2、足輕重的地位，并且隨著社會的發(fā)展、科技的進步，其應(yīng)用范圍會越來越廣，對主題網(wǎng)頁資源采集系統(tǒng)進行深入研究具有很深遠的意義。
　　圍繞構(gòu)建面向主題的網(wǎng)頁資源采集系統(tǒng)，論文對主題信息采集涉及到的關(guān)鍵技術(shù)進行深入研究，改進主題相關(guān)度計算模型，優(yōu)化URL爬行策略，提出了基于網(wǎng)頁內(nèi)容和web超鏈接的雙重約束的主題網(wǎng)頁信息采集算法。
　　本論文的主要工作如下:
　　(1)本文對web信息抽取技術(shù)進行研究，分析了基于自然語言處理、包裝

3、器、Ontology方式、web查詢方法以及DOM樹形結(jié)構(gòu)的web信息抽取方法，研究了每種方法的優(yōu)缺點，并結(jié)合HTML文檔結(jié)構(gòu)和特點，分析了解析DOM樹形文檔的工作原理、相關(guān)API接口以及具體解析流程。
　　(2)論文深入探討主題相關(guān)度計算模型，即布爾模型、向量空間模型和概率檢索模型，深入地研究了各模型的工作原理及實現(xiàn)機制，并分析各模型的優(yōu)缺點，為主題相關(guān)度計算模型的改進奠定了堅實的基礎(chǔ)。此外，針對向量空間模型，具體分析了主題特征

4、詞的權(quán)重計算方法。
　　(3)本文針對信息采集過程中的爬行策略展開詳盡的研究，分析了最好優(yōu)先搜索算法、Fish算法以及Shark算法等基于文字內(nèi)容的啟發(fā)式算法，研究各算法實現(xiàn)原理及工作流程，并分析優(yōu)缺點，同時基于web有向圖結(jié)構(gòu)，分析了HITS、PageRank、TPR等算法并指出每種算法的優(yōu)劣。
　　(4)論文在分析現(xiàn)有的主題相關(guān)度計算模型及爬行策略優(yōu)缺點的基礎(chǔ)上，結(jié)合HTML文檔結(jié)構(gòu)，對向量空間模型進行改進，同時考慮網(wǎng)頁