網(wǎng)站主題分析、標引與檢索技術(shù)的研究.pdf

1、隨著社會分工向?qū)I(yè)化細分方向的發(fā)展，“專、精、深”的專業(yè)化信息服務(wù)需求日益增大，網(wǎng)絡(luò)中涌現(xiàn)出了大量的專業(yè)化信息網(wǎng)站，搜索引擎技術(shù)也逐漸從通用搜索向?qū)I(yè)搜索方面演變，其中針對提供自動化的網(wǎng)站分類導航服務(wù)的相關(guān)技術(shù)成為了信息處理領(lǐng)域近年十分活躍的熱點研究問題。
　　基于主題標引的智能網(wǎng)站檢索(ThemeIndexingbasedWebSiteRetrival，TTWR)便是以主題網(wǎng)站(Single-ThemeWebsite)為檢索目標

2、，結(jié)合網(wǎng)站拓撲結(jié)構(gòu)等特有的相關(guān)特征，以主題分析標引技術(shù)為核心，為提供自動化的網(wǎng)站檢索服務(wù)而開展的相關(guān)技術(shù)研究。
　　根據(jù)以上研究目的，本文首先分析了智能網(wǎng)站檢索技術(shù)的構(gòu)造與實現(xiàn)，提出了基于主題標引的智能網(wǎng)站檢索系統(tǒng)的系統(tǒng)結(jié)構(gòu)與實現(xiàn)策略，之后對系統(tǒng)中的主題分析、標引與檢索等關(guān)鍵技術(shù)進行了深入分析，針對主要技術(shù)難點重點討論了網(wǎng)頁正文抽取，網(wǎng)站拓撲結(jié)構(gòu)分析，網(wǎng)站主題獲取等相關(guān)實現(xiàn)技術(shù)，提出了基于標簽間距的正文抽取算法，基于URL目錄相似

3、度的網(wǎng)站結(jié)構(gòu)分析算法和基于網(wǎng)站結(jié)構(gòu)的網(wǎng)站主題概念獲取算法等解決方案。最后在以上算法與理論的基礎(chǔ)上，整合實現(xiàn)了智能網(wǎng)站檢索的信息采集實驗系統(tǒng)，經(jīng)過實驗分析與評價，取得了較好的網(wǎng)站主題標引結(jié)果。
　　本文提出的網(wǎng)站主題分析、標引與檢索技術(shù)為網(wǎng)站檢索提供了新的解決方案，提供了更適于傳統(tǒng)信息檢索模型與用戶檢索習慣的標引技術(shù)，使之避免了傳統(tǒng)分類問題中構(gòu)建類別體系的單一性與用戶需求的多樣性之間的矛盾，克服了傳統(tǒng)信息檢索與分類模式中可能出現(xiàn)的部