專家信息垂直搜索引擎關鍵技術研究與實現(xiàn).pdf

1、隨著我國在科技獎勵評審、科技成果評價和科技項目評估等領域工作的廣泛開展,能否有合適、權威的專家參與進來,直接關系著這些工作的公平公正性。垂直搜索作為搜索引擎技術新興的研究熱點,其專注具體、深入的縱向服務,致力于某一特定領域內(nèi)信息的全面和內(nèi)容的深入。我們通過將垂直搜索技術引入專家信息的搜索服務中來,可以極大改善專家信息搜索的效果。
　　 按照搜索引擎的一般開發(fā)流程,結合專家信息領域的自身特點,對專家信息垂直搜索引擎兩大關鍵問題進行

2、了研究和實現(xiàn)。
　　 其一,Deep Web網(wǎng)絡蜘蛛。專家信息數(shù)據(jù)源中大量Deep Web的存在,使得普通網(wǎng)絡蜘蛛的抓取效果并不理想。為了保證專家信息抓取的準確率和完整率,本文設計并實現(xiàn)了一種基于Web自動化測試工具--WatiJ的Deep Web網(wǎng)絡蜘蛛。闡述了利用WatiJ實現(xiàn)用戶提交查詢表單、循環(huán)點擊翻頁按鈕等擬人交互方式的原理,通過實例給出了動態(tài)網(wǎng)頁抓取的關鍵步驟。實驗結果表明,該蜘蛛是針對授權數(shù)據(jù)源進行動態(tài)網(wǎng)頁抓取行之