基于FCA的信息檢索模型研究及應用.pdf

1、在Internet上使用搜索引擎檢索信息己成為人們獲取信息的重要手段，然而，這并不表明目前的信息檢索技術已經讓人們滿意。目前大部分中文搜索引擎的查詢技術基本上都是基于關鍵詞匹配的，在這里“關鍵字”僅僅是出現在網頁中的符號而已，它所指代的語義并沒有被使用。頁面分析所依據的也是存在于頁面之間的鏈接關系，它不能表示這些頁面本身包含什么信息，這就決定了搜索引擎還不能很好地處理頁面信息的語義。因此，如何表達信息需求，如何展示／瀏覽搜索結構，如何對

2、個性化的信息需求建立模型等等，是未來搜索引擎應該追求的方向，基于概念的智能檢索才符合信息檢索的需求。 形式概念分析(Fornlal Concept Analysis，以下簡稱FCA)的主要內容是研究“概念”和“概念分層”的數學化描述，其主要思想是：從被表示為形式背景(fornlal context)的數據中獲取形式概念(formal concept)以及形式概念之間的聯系，形成一種以形式概念為元素的格結構——概念格(concep

3、t lattice)。使用FCA從數據中獲取概念與其它基于統(tǒng)計的傳統(tǒng)數據分析方法不同，FCA用概念表示數據分析的結果，用概念格顯示知識視圖。 如何將FCA對概念的數學描述應用在信息檢索中，尤其是如何為FCA搜索引擎(Search Engine)建立基于形式背景的信息檢索模型(Information RetrievalModel，以下簡稱IR模型)，這是本文工作的中心任務。 本文結合形式背景定義建立IR模型，我們定義文檔集

4、為形式背景的對象集，屬性集是能夠代表文檔特征的關鍵詞集合的子集。從這樣的形式背景中抽取出文檔集與關鍵詞之間，以及文檔與文檔之間在概念層次上的關系，用概念格體現形式概念之間的關系。在搜索引擎中可以在概念格的視圖上對用戶進行導航。由于對象集中的文檔是動態(tài)添加的，而屬性集也將對應的做出調整，所以我們用Godin造格算法造格。形式背景的對象集合和屬性集合的確立決定了概念格的結構，并將直接影響用戶在格上瀏覽的效率和FCASE系統(tǒng)的查全率和查準率。

5、因此，如何建立形式背景，即如何為FCASE系統(tǒng)建立IR模型是整個系統(tǒng)中最關鍵的一步。尤其是屬性集的選擇，決定了搜索引擎的性能。本文提出了基于形式背景的IR模型并進一步提出了“屬性抽取算法”。 屬性抽取算法的基本思想為：對文檔進行分詞處理，統(tǒng)計每個詞的詞頻，計算其tf*jdf值，根據權值調整規(guī)則，計算權重weight值，最后選擇合適的閾值λ限定屬性個數，構造形式背景，建立IR模型。 實驗證明屬性抽取算法提煉出形式背景，構造

6、基于FCA的IR模型的可行性。FCA-IR模型的優(yōu)越性體現在對數據源的組織方面，反映出文檔之間潛在的聚類關系。結合形式背景的約簡等手段，該模型為用戶提供了一種有實用價值的基于概念格對文檔進行聚類和瀏覽的方法。基于FCA的IR模型的實用價值和性能在基FCA的搜索引擎(FCA SE)系統(tǒng)中得到了驗證。 本文的主要貢獻如下： (1)提出了基于FCA的檢索模型，并通過實驗驗證了該模型的可行性和正確性。 (2)提出了基于文