全文搜索技術

1、第1頁共4頁利用全文檢索技術實現(xiàn)校園網的信息檢索武漢市儀表電子學校于波摘要：本文利用全文檢索算法構造了一個適用于校園網絡的搜索引擎，該引擎的主要特點是：將搜索引擎主要分為前端和后端，后端獲取Web文檔，然后分詞，建立和更新索引；前端提取索引庫中的內容，向客戶提供檢索服務。關鍵詞：二叉樹、搜索引擎、網絡蜘蛛隨著Inter的飛速發(fā)展，各種網上應用不斷發(fā)展。目前網上中文信息的數(shù)量增長迅猛，使得基于全文檢索技術的中文搜索引擎越來越多。而針對校園

2、網的檢索系統(tǒng)卻相對缺乏。校園網面對的是學校中的學生和老師用戶，其主要作用是方便用戶進行資料的查詢，或是學術討論，或是友誼聯(lián)系等等。相對來說，在校園網中，數(shù)據量和數(shù)據的類型沒有Inter上的豐富，對查準率的要求高于查全率，本文利用一種基于最大匹配法的全文檢索技術，構造適用于局域網內信息檢索的搜索引擎。1校園網搜索引擎的產生環(huán)境1.1將Inter網上的搜索引擎用于校園網的弊端近十年來，中文信息在Inter網上的迅速發(fā)展，產生了大量的中文搜索

3、引擎，比較著名的有：中文雅虎、搜狐、百度搜索、天網搜索、google搜索等。這些搜索引擎主要是針對Inter網上海量、無序的信息而設計的；對于校園內的局域網來說，信息量遠不如Inter上豐富和復雜，如果將以上搜索引擎用于校園網內的信息檢索，無疑是“殺雞用牛刀”，而且會嚴重影響到檢索質量。其原因如下：1、搜索引擎需要的存儲空間過大。以上所談到的檢索系統(tǒng)檢索的范圍是整個互聯(lián)網，所以其中的文檔數(shù)據庫將相當大，而且不管是字索引還是詞索引其索引庫

4、所占的存儲空間都將很大。2、搜索引擎算法復雜。例如，檢索時需要遍歷Inter，搜索引擎必須通過某種算法選擇一個頁面作為初始URL開始訪問；在校園網中則無需進行頁面選擇，可以直接將學校的主頁作為初始頁面。再如，更新Inter上的文檔數(shù)據庫時也是需要利用某種算法更新，并且更新后的數(shù)據庫中的頁面不可能覆蓋整個Inter上的中文網頁；而校園網的IP地址在一個有限的范圍內，我們可以每隔一定的時間間隔（如一天、一星期或一個月）對文檔數(shù)據庫中的所有頁

5、面進行更新，檢索時訪問到校園網內的所有頁面。3、檢索的速度慢。文檔數(shù)據庫和索引庫的大量數(shù)據必然降低檢索速度，復雜的搜索算法也將花費更多的時間。第3頁共4頁（2）指針指向檢索字串中第一個漢字，根據字段結構信息調入對應的二叉樹（3）遍歷二叉樹（4）若匹配成功，則根據節(jié)點中RF信息調入對應文檔級索引表，轉7）（5）若匹配失敗，指針在檢索字串中右移一位，重新以最大匹配法切分字串，調入對應二叉樹，重復3），4）（6）若依舊失敗，將用于匹配的字串數(shù)

6、減1，重復2），3），4），5）（7）根據索引表中文檔信息將文檔序號加入檢索管理鏈表，并保存文檔中的摘要（8）將剩余字串按以上方法繼續(xù)匹配，并把匹配得到的文檔序號加入檢索管理鏈表；（9）按檢索要求對鏈表中的文檔進行“與”或“或”操作（10）若鏈表為“空”，則輸出“無相同匹配”；若鏈表不為“空”，則輸出檢索結果4搜索引擎的結構檢索系統(tǒng)分為前端和后端，前端向客戶提供檢索服務，后端獲取Web文檔，并建立和更新索引。系統(tǒng)結構如圖1：圖1檢索系統(tǒng)

7、結構4.1獲取文檔數(shù)據庫和其他的全文檢索應用系統(tǒng)一樣，本系統(tǒng)首先需要構造一個適用于檢索的文本數(shù)據庫。所以獲取文檔數(shù)據庫的步驟為：步驟一：利用Robot（機器人）程序定期遍歷校園網內所有站點，獲取相應的Web頁面，并存儲于本地計算機中步驟二：識別和處理置標命令，將Web頁面中的HTML文檔轉換為正規(guī)的文本文檔存放步驟三：保存全部地址信息到URL隊列中這樣，就得到了整個網絡中的全文檔數(shù)據庫。4.2建立Web頁面索引基本的索引創(chuàng)建方法分為兩步