搜索引擎中基于領(lǐng)域本體的主題信息采集方法的研究.pdf

1、近年來，隨著Web信息多元化的增長(zhǎng)，傳統(tǒng)的信息采集系統(tǒng)已無(wú)法保證對(duì)信息的及時(shí)更新，并且由于其采集信息的主題范圍過于廣泛，較少考慮采集的信息是否與查詢主題相關(guān)，滿足不了人們對(duì)個(gè)性化信息檢索服務(wù)日益增長(zhǎng)的需求。主題信息采集系統(tǒng)采集信息的內(nèi)容只限于特定主題或?qū)ｉT領(lǐng)域，在搜索過程中無(wú)須對(duì)整個(gè)Web進(jìn)行遍歷，只需選擇與主題相關(guān)的頁(yè)面進(jìn)行訪問，基本回避了傳統(tǒng)信息采集系統(tǒng)信息指數(shù)膨脹的危機(jī)，成為近年的研究熱點(diǎn)。 主題信息采集是專業(yè)搜索引擎的核

2、心技術(shù)，它指導(dǎo)著網(wǎng)絡(luò)爬蟲(robot)進(jìn)行有價(jià)值的搜索。專門搜索與主題相關(guān)的頁(yè)面；目前主題信息采集系統(tǒng)中常用基于關(guān)鍵詞的向量空間模型來表示網(wǎng)頁(yè)文本，它通過考慮關(guān)鍵詞的權(quán)重以及關(guān)鍵詞在網(wǎng)頁(yè)中出現(xiàn)的頻率來采集相關(guān)的網(wǎng)頁(yè)。這種算法的本質(zhì)是統(tǒng)計(jì)頁(yè)面中出現(xiàn)給定關(guān)鍵詞的次數(shù)，出現(xiàn)次數(shù)越多，則認(rèn)為越相關(guān)。但實(shí)際情況是，一個(gè)概念可以用多個(gè) 關(guān)鍵詞表達(dá)，一個(gè)關(guān)鍵詞也能表達(dá)多個(gè)概念，同時(shí)多個(gè)子概念表達(dá)的內(nèi)容仍屬于父概念的范疇，而這種只基于關(guān)鍵詞的相

3、關(guān)度分析方法對(duì)這些情況的處理效率很不好。 本文提出了基于本體的網(wǎng)頁(yè)主題相關(guān)度分析方法，它反映的不再是簡(jiǎn)單的詞條出現(xiàn)頻率，而是強(qiáng)化了網(wǎng)頁(yè)中詞條間的語(yǔ)義關(guān)系，從而克服了使用傳統(tǒng)向量空間時(shí)產(chǎn)生的多義詞、同義詞和單詞依賴等現(xiàn)象；而且文中采用的綜合價(jià)值的主題相關(guān)度評(píng)價(jià)方法，同時(shí)對(duì)網(wǎng)頁(yè)內(nèi)容價(jià)值和鏈接內(nèi)容價(jià)值進(jìn)行考察，從而保證了robot搜索的網(wǎng)頁(yè)與主題有著較高的相關(guān)度。通過實(shí)驗(yàn)，比較了提出的方法與基 于關(guān)鍵詞主題相關(guān)度方法的結(jié)果，進(jìn)