Web信息獲取技術的研究.pdf

1、隨著互聯(lián)網(wǎng)的普及與發(fā)展，信息獲取已經(jīng)從通過手工獲取信息、通過計算機獲取信息，發(fā)展到通過網(wǎng)絡獲取信息。如今的網(wǎng)頁數(shù)以億計，要在浩如煙海的網(wǎng)絡世界尋找需要的信息，作為現(xiàn)代信息獲取技術的主要應用—搜索引擎是必不可少的。論文研究的目的是希望通過對基于超鏈分析的采集策略進行研究，探索提高搜索引擎中網(wǎng)頁采集器采集性能的方法。 網(wǎng)頁采集器是一種能夠自動從互聯(lián)網(wǎng)上采集網(wǎng)頁的軟件，它決定著搜索引擎的數(shù)據(jù)是否豐富，信息是否能夠得到及時更新。論文系統(tǒng)

2、地介紹了搜索引擎中網(wǎng)頁采集器的工作原理。Robot主要由HTTP下載模塊、爬行策略控制器和URL解析器三個部分組成。在Robot系統(tǒng)實現(xiàn)中采用了非遞歸的構(gòu)造方式，給出了隊列狀態(tài)轉(zhuǎn)換關系、Robot的典型流程圖和詳細的算法思想，運用了數(shù)據(jù)庫和多線程編程技術。 Robot軟件的采集策略是指當Robot搜索到一個文檔后，下一步應該轉(zhuǎn)移到哪一個文檔的方法問題，它決定著Robot軟件的采集性能。論文討論了IP地址采集策略、深度優(yōu)先采集策略

3、、廣度優(yōu)先采集策略、深度-廣度結(jié)合采集策略四種基于有向圖的遍歷算法并分析了各自的優(yōu)缺點。Web上的超鏈結(jié)構(gòu)是一個非常豐富和重要的資源，它獨立于網(wǎng)頁的語言和內(nèi)容。論文研究了基于超鏈分析的算法中的BackLink算法、HITS算法和PageRank算法的原理、實現(xiàn)和存在的問題，并提出了一種對PageRank的改進算法?；诔湻治龅乃惴軌蛴行У靥岣逺obot的采集性能，減少獲取網(wǎng)頁的重復性，并對垃圾網(wǎng)頁有較好的過濾性。對分別采用BackL