面向主題的信息檢索相關(guān)技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著Internet的迅速增加，查找信息成為問題。搜索引擎的出現(xiàn)在一定程度上解決了找信息難的問題。但由于網(wǎng)絡(luò)信息增長太快，檢索返回的結(jié)果太多，查詢的歧義性問題，使得用戶在返回的大量信息中找到有用信息成了問題。本文提出的面向主題的信息檢索系統(tǒng)能在一定程度上解決這種問題。
　　面向主題的信息檢索系統(tǒng)，主要由爬行器，前向索引器，倒排索引器，檢索器，主題分類器，相似文章聚類器組成。與通用搜索引擎最大的區(qū)別在于檢索結(jié)果中有層次主題類信息，相

2、似文章推薦，以及更加友好的人機(jī)交互方式等。正是這些功能使得用戶在檢索時(shí)更加主動(dòng)，獲得的信息更加豐富，并且能更加快速地找到有用信息。
　　正是如此，本文研究設(shè)計(jì)了面向主題的信息檢索系統(tǒng)。并在索引建立，帶有主題信息的檢索方法，系統(tǒng)結(jié)構(gòu)和信息可視化上有所改進(jìn)和創(chuàng)新。
　　為了主題分類和相似文章聚類的需要，設(shè)計(jì)了自動(dòng)獲取TermID來建立前向索引的方法和對(duì)前向索引的管理。為了高效建立索引，通過前向索引詞典信息來劃分存放倒排索引的文件

3、，實(shí)現(xiàn)Term和文件的映射。以后處理Term的信息就只需要在劃分的對(duì)應(yīng)文件中處理即可。同時(shí)，本文提出了通過兩遍文件迭代建立海量倒排索引的方法，并且在建立過程中沒有使用歸并算法，而只進(jìn)行順序鏈接即可。因而速度很快。
　　在檢索中，為了提高檢索的TopN精確率和檢索效率，本文提出了對(duì)文檔抽取摘要信息來建立小索引用于檢索。同時(shí)設(shè)計(jì)了文檔和主題類的映射關(guān)系以及父、子主題類的繼承關(guān)系，使得檢索時(shí)獲取文檔的主題類信息以及判斷主題類間的繼承關(guān)系

4、都是常數(shù)時(shí)間復(fù)雜度。進(jìn)而帶主題信息的檢索和通用檢索在檢索時(shí)間上相差不大。
　　由于用戶輸入的查詢通常比較短，使得查詢有歧義，因而返回的所有結(jié)果文檔屬于多個(gè)類別。主題檢索系統(tǒng)返回了文檔的類別信息，使得用戶可根據(jù)自己所找信息對(duì)應(yīng)的類別來選擇類別，讓系統(tǒng)只返回該類別的文檔，進(jìn)而快速找到有用信息。使得用戶在檢索過程中更加主動(dòng)。同時(shí)，當(dāng)用戶看到一篇相關(guān)文檔后想看更多與當(dāng)前文檔相似的文檔時(shí)，系統(tǒng)的相似文章推薦就能滿足用戶的需求。提供給了用戶更