分詞技術(shù)在異構(gòu)數(shù)據(jù)統(tǒng)一檢索中的研究及應(yīng)用.pdf

1、隨著信息化的高速發(fā)展，各種數(shù)據(jù)資源迅速累積，數(shù)據(jù)結(jié)構(gòu)也日益復雜。面對大量的信息，而且是邏輯結(jié)構(gòu)，存儲結(jié)構(gòu)等差異很大的數(shù)據(jù)信息，如何方便地且快速、準確地檢索出有效信息，從而獲取重要資源，是信息時代人們的迫切需求。為解決異構(gòu)數(shù)據(jù)統(tǒng)一檢索問題，本文提出一種異構(gòu)數(shù)據(jù)統(tǒng)一檢索方法并引入分詞技術(shù)，提高信息檢索的查準率及系統(tǒng)檢索效率。
　　本文介紹了分詞技術(shù)與異構(gòu)數(shù)據(jù)檢索的國內(nèi)外研究現(xiàn)狀，對分詞技術(shù)和異構(gòu)數(shù)據(jù)檢索的基本理論、常用技術(shù)和方案、典型

2、算法等進行了分析和總結(jié)。在此基礎(chǔ)上，設(shè)計了一種異構(gòu)數(shù)據(jù)統(tǒng)一檢索總體架構(gòu)，并詳細介紹了框架的層次劃分、各層次模塊的功能、系統(tǒng)的運行流程及架構(gòu)的特點。在分析傳統(tǒng)分詞算法及分詞詞典機制的基礎(chǔ)上，結(jié)合異構(gòu)數(shù)據(jù)統(tǒng)一檢索的特點，設(shè)計了一種基于改進的整詞二分詞典的快速分詞法，并給出算法的具體實現(xiàn)。經(jīng)實例驗證，該分詞算法分詞準確，響應(yīng)快速，能很好的適應(yīng)異構(gòu)檢索對查詢語句的切分、關(guān)鍵詞提取及查詢結(jié)果相似度比對等操作的要求。本文通過對檢索結(jié)果處理流程的逐步