改進(jìn)向量空間模型下的文本檢索算法研究.pdf

1、信息技術(shù)的飛速發(fā)展使信息資源的過度膨脹和用戶查詢的多樣化需求逐漸成為一種不可緩解的矛盾,各種信息檢索技術(shù)應(yīng)運(yùn)而生。存在著更大研究價值和廣泛應(yīng)用前景的文本檢索技術(shù)已成為信息檢索的重要分支,文本檢索領(lǐng)域最常用的文本檢索模型——向量空間模型(Vector Space Model, VSM)吸引了大量的研究人員對其進(jìn)行研究。其中TF-IDF權(quán)重度量方法和文本排序算法是向量空間模型中最集中研究的方向,但TF-IDF方法在應(yīng)用過程中忽略了文本長度因

2、素,文本排序算法也沒有考慮文本間的相關(guān)性,從而影響了文本檢索的準(zhǔn)確率。
　　本文從文本長度和文本重要性度量兩個角度出發(fā),分別對TF-IDF方法和文本排序方式進(jìn)行研究改進(jìn),提出了一種基于改進(jìn)向量空間模型的文本檢索算法。該算法采用基于文本長度的TF-IDF方法計(jì)算特征項(xiàng)權(quán)重,并結(jié)合文本重要性對檢索結(jié)果進(jìn)行排序,大大提高了文本檢索算法的查準(zhǔn)率。
　　本文主要工作如下:
　?、俜治隽诵畔z索和文本檢索的出現(xiàn)背景及文本檢索技術(shù)近

3、幾年的研究現(xiàn)狀,簡要介紹了工具包Lucene的系統(tǒng)結(jié)構(gòu)、索引和檢索機(jī)制、分詞機(jī)制等相關(guān)技術(shù),重點(diǎn)介紹了向量空間模型及TF-IDF詞項(xiàng)權(quán)重度量方法。
　?、诨谖谋鹃L度對文本檢索效果影響的研究,分別引入相對詞項(xiàng)頻率和長度標(biāo)準(zhǔn)化因子,對傳統(tǒng)的TF權(quán)重方法加以改進(jìn)后,結(jié)合已有的IDF方法,提出了新的權(quán)重計(jì)算方法——NTF-IDF(New TF and IDF)算法。
　?、蹫橛行Ц纳茩z索結(jié)果的排序問題,將PageRank算法中的鏈

4、接分析技術(shù)的思想引入至文本排序中,提出用于計(jì)算文本重要性的TextRank算法,然后將TextRank算法應(yīng)用至檢索結(jié)果的排序中。
　　④采用Reuters-21578數(shù)據(jù)集的ApteMod版本,通過實(shí)驗(yàn)對提出的NTF-IDF權(quán)重計(jì)算方法和TextRank算法進(jìn)行評估,驗(yàn)證其合理性和有效性。
　　實(shí)驗(yàn)結(jié)果表明,相對傳統(tǒng)的TF-IDF方法和其它文獻(xiàn)提出的改進(jìn)算法,NTF-IDF方法在文本檢索準(zhǔn)確率上有一定程度的提高;同時Tex