基于主題的Deep Web搜索引擎研究與探索.pdf

1、Internet的飛速發(fā)展，為我們提供了海量的信息資源。但目前傳統(tǒng)的搜索引擎能夠檢索的僅僅是World Wide Web中的一小部分，大量的Deep Web信息對這些搜索引擎是不可見的。這些信息隱藏在Web頁面的搜索表單后面，保存在大型的動態(tài)數(shù)據(jù)庫中。用戶必須通過查詢表單在線訪問其后端的Web數(shù)據(jù)庫才能獲得這些信息。有效地把Deep Web信息加以利用是一個比較富有挑戰(zhàn)性的課題。 本文首先介紹了通用搜索引擎的一般原理，定量地分析

2、了Deep Web的概況，并在此基礎(chǔ)上對構(gòu)建基于某一主題的Deep Web搜索引擎所涉及到的三個主要模塊(表單抽取、查詢處理、結(jié)果抽取)進(jìn)行了分析研究，同時闡述了相關(guān)算法。本文的主要研究內(nèi)容包括： 1.討論了Deep Web的定義，在分析Deep Web工作原理的基礎(chǔ)上給出了基于某一主題Deep Web搜索引擎的總體設(shè)計思路和實現(xiàn)技術(shù)。 2.研究了表單抽取模塊中的Deep Web站點(diǎn)發(fā)現(xiàn)策略，通過對不同結(jié)構(gòu)表單頁面的分析

3、，提出了查詢表單元素的統(tǒng)一表示方法。 3.分析了目前存在查詢表單抽取方法，結(jié)合同一主題元素模板視覺的相似性，采用競爭分類法對表單元素值進(jìn)行抽取，實驗證明抽取效果比較理想。 4.研究了元素間的相似度算法，通過計算表單元素之間的相似度，排列數(shù)據(jù)源與用戶查詢的相關(guān)性，從而選擇出該領(lǐng)域內(nèi)與用戶查詢最相關(guān)的數(shù)據(jù)源。 5.設(shè)計了一個查詢轉(zhuǎn)換器，有效地解決了用戶查詢接口與數(shù)據(jù)源之間的元素映射問題。 6.分析了目前存在的