搜索引擎返回結(jié)果聚類(lèi)技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著因特網(wǎng)技術(shù)的飛速發(fā)展和搜索引擎技術(shù)的日趨成熟，人們逐漸開(kāi)始頻繁利用網(wǎng)絡(luò)來(lái)獲取所需的資源，而現(xiàn)有的搜索引擎返回的查詢(xún)結(jié)果數(shù)量龐大且呈線(xiàn)性排列，用戶(hù)很難在較短的時(shí)間內(nèi)找到有用的信息，因此如何能夠快捷、準(zhǔn)確地發(fā)現(xiàn)信息則成為目前信息檢索領(lǐng)域亟待解決的問(wèn)題。文本聚類(lèi)具有較強(qiáng)的靈活性和自動(dòng)處理能力，已經(jīng)逐漸成為對(duì)搜索引擎進(jìn)行有效地組織和導(dǎo)航的重要手段。 本文就文本聚類(lèi)算法進(jìn)行了深入的研究，采用Lingo聚類(lèi)算法作為主要框架，探索和研究文

2、本聚類(lèi)在搜索引擎領(lǐng)域內(nèi)的應(yīng)用，主要研究工作如下： 文本預(yù)處理的許多關(guān)鍵技術(shù)直接影響聚類(lèi)的效果，因此本文對(duì)文本聚類(lèi)預(yù)處理中涉及的關(guān)鍵技術(shù)做了深入的研究，在此基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)了包含網(wǎng)頁(yè)去噪、詞干提取、停止詞過(guò)濾等功能的預(yù)處理子系統(tǒng)。 TF-IDF是向量空間模型中最常用的權(quán)重計(jì)算方法，它可以有效地強(qiáng)化在文檔中出現(xiàn)的高頻詞匯的權(quán)重，弱化在文檔集合中出現(xiàn)頻率較高但是包含文檔信息量少的常用詞的權(quán)重。但是，事實(shí)上詞對(duì)文檔的重要程度還

3、與詞的詞性以及詞在文檔中的位置因素有關(guān)，因此本文在傳統(tǒng)的TF-IDF的基礎(chǔ)上加入詞性權(quán)重與位置權(quán)重對(duì)其進(jìn)行修正，實(shí)驗(yàn)證明改進(jìn)后的TF-IDF可以更加準(zhǔn)確的描述詞對(duì)文檔的重要程度，有效地提高了聚類(lèi)算法的查準(zhǔn)率和查全率，使算法的整體性能有了較大的提高。 本文對(duì)Lingo聚類(lèi)算法做了深入的研究和分析，通過(guò)對(duì)比實(shí)驗(yàn)證明它比目前流行的后綴樹(shù)算法(STC)聚類(lèi)的性能更優(yōu)，提取出的類(lèi)標(biāo)簽更能反映類(lèi)別信息，易于理解。但是它產(chǎn)生的聚類(lèi)沒(méi)有層次性，

4、不能很好的反映類(lèi)別之間的包含關(guān)系。因此本文在Lingo的基礎(chǔ)上引入HSTC(層次的后綴樹(shù)聚類(lèi)算法)中層次組織的方法對(duì)Lingo的聚類(lèi)結(jié)果進(jìn)行層次組織。實(shí)驗(yàn)證明改進(jìn)后的層次的Lingo聚類(lèi)算法(HLingo)能夠較好的表現(xiàn)類(lèi)別之間的層次關(guān)系，提取出的類(lèi)標(biāo)簽也能充分的反應(yīng)類(lèi)別信息，克服了類(lèi)合并時(shí)出現(xiàn)的類(lèi)標(biāo)簽提取過(guò)長(zhǎng)的問(wèn)題，而且通過(guò)引入雙閾值來(lái)調(diào)整包含關(guān)系，有效地克服了HSTC中類(lèi)合并頻繁的問(wèn)題。無(wú)論是在測(cè)試集數(shù)據(jù)比較單一還是比較復(fù)雜的情況下

5、都能獲得較好的聚類(lèi)效果，比HSTC具有更好穩(wěn)定性。 通常情況下對(duì)詞進(jìn)行詞性標(biāo)注時(shí)必須要考慮詞的上下文環(huán)境，因此如果將詞性標(biāo)注技術(shù)引入搜索引擎結(jié)果聚類(lèi)系統(tǒng)則意味著對(duì)搜索搜索引擎返回的結(jié)果必須在線(xiàn)進(jìn)行標(biāo)注，但由于詞性標(biāo)注算法的實(shí)現(xiàn)往往比較復(fù)雜，算法的時(shí)間復(fù)雜度較高，這對(duì)搜索引擎結(jié)果聚類(lèi)系統(tǒng)的運(yùn)行效率影響很大。本文對(duì)詞性標(biāo)注技術(shù)做了較為深入的研究，考慮到將詞性標(biāo)注引入聚類(lèi)系統(tǒng)帶來(lái)的巨大的系統(tǒng)開(kāi)銷(xiāo)，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于XML的詞性詞典，

6、只有第一次被檢索到的文檔才進(jìn)行詞性標(biāo)注并更新詞典，否則直接在詞典中查詢(xún)即可得到詞的詞性信息，通過(guò)這種方式有效地避免了對(duì)相同文檔地重復(fù)標(biāo)注，從而減少了系統(tǒng)不必要的開(kāi)銷(xiāo)。最后結(jié)合以上幾個(gè)方面的研究，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)聚類(lèi)系統(tǒng)HappyDonkey，并將開(kāi)源的搜索引擎Nutch集成到本系統(tǒng)中，實(shí)現(xiàn)了一個(gè)既可以對(duì)Yahoo搜索引擎返回的結(jié)果進(jìn)行聚類(lèi)，又可以就本系統(tǒng)的查詢(xún)結(jié)果進(jìn)行聚類(lèi)，對(duì)外開(kāi)放查詢(xún)接口的多功能的聚類(lèi)系統(tǒng)。 實(shí)驗(yàn)證明，本文所研