搜索結(jié)果智能處理技術(shù)研究.pdf

1、伴隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展成熟，網(wǎng)絡(luò)信息量與日俱增，從網(wǎng)絡(luò)中檢索需要的信息早已成為許多人生活中不可或缺的一部分。其中最常用的信息檢索手段是搜索引擎，但豐富的網(wǎng)絡(luò)信息使得搜索引擎返回結(jié)果數(shù)量極為龐大。因此，為減少查詢搜索結(jié)果信息而產(chǎn)生的搜索結(jié)果智能處理技術(shù)就變得十分重要。本文通過對搜索結(jié)果智能處理的整個步驟環(huán)節(jié)進行了研究，提出了結(jié)合數(shù)據(jù)采集、自然語言處理與數(shù)據(jù)挖掘的解決方案。
　　對搜索引擎數(shù)據(jù)采集方法，本文采用網(wǎng)頁內(nèi)容抓取方法避免

2、了搜索引擎以及相關(guān)API對訪問量和訪問頻率的限制。
　　對搜索條目的自然語言處理，在分詞環(huán)節(jié)中本文提出了一種基于統(tǒng)計學(xué)概率算法的分詞字典擴充方法，從而彌補了傳統(tǒng)字典分詞算法對新生網(wǎng)絡(luò)語言處理方面的不足。并能夠應(yīng)用分詞字典擴充方法挖掘語料中的新生詞匯；在文本向量空間模型建立環(huán)節(jié)本文提出了基于句子中詞語間關(guān)系的文本向量化算法，通過句中詞語之間相鄰、修飾、指代等關(guān)系進行PageRank迭代來計算文本向量，在分類準(zhǔn)確率方面優(yōu)于傳統(tǒng)的基于統(tǒng)

3、計量的文本向量化算法，而且更加適用于類似搜索引擎結(jié)果條目這樣的較短文本。
　　對搜索結(jié)果的處理，本文考慮到搜索結(jié)果條目重要程度差異極大的情況提出了先對關(guān)鍵元素進行聚類，再對次要元素分類歸入的方法，保證了最終類別形成符合實際情況。并通過建立聚類結(jié)果評估機制來確保歸類數(shù)目的準(zhǔn)確性，對有歧義搜索關(guān)鍵字搜索結(jié)果的處理產(chǎn)生了良好的效果。在最終返回結(jié)果之前，本文還通過計算不同搜索引擎的權(quán)重分配、搜索條目的重復(fù)狀況以及搜索條目內(nèi)容的重要程度來對