互聯(lián)網(wǎng)主題信息定向采集研究.pdf

1、在信息時代的大背景下,互聯(lián)網(wǎng)信息以超乎想象的速度迅猛增加,信息爆炸、信息過載使人們陷入了信息時代的新困境。如何在海量的互聯(lián)網(wǎng)信息資源中快速有效地獲取所需信息成為亟待解決的一個重要問題。與此同時,信息用戶對信息的需求正逐漸呈現(xiàn)出主題化、領域化、專業(yè)化和個性化的趨勢。如何滿足這些主題化的信息需求也是當前的重要課題。
　　 正是基于這樣的背景,本文首先研究和比較了當前適用于互聯(lián)網(wǎng)主題信息定向采集的各類理論、技術和信息采集方案,包括通用

2、引擎和垂直引擎策略、主題信息采集技術、中文自動切分詞技術、大規(guī)模文本計算技術等支撐性技術;在此基礎上提出了通用搜素引擎與垂直搜索引擎相結(jié)合的互聯(lián)網(wǎng)主題定向采集策略,利用基于領域的主題詞表生成和優(yōu)化方法確定主題范圍,采用文本相似度計算算法進行系統(tǒng)的文本處理。在確定了采集策略和底層技術后,即對互聯(lián)網(wǎng)主題定向采集系統(tǒng)進行了框架設計。
　　 本文分析和改進了采集系統(tǒng)中的三個關鍵技術,包括提出了多種防屏蔽技術相結(jié)合的網(wǎng)絡采集防屏蔽解決方案

3、;改進了一種基于文本密度的網(wǎng)頁正文抽取方法;采用了基于分詞的向量空間模型和余弦夾角公式實現(xiàn)了基于內(nèi)容的標題去重。文中以實例介紹了采用模擬瀏覽器技術自動登錄網(wǎng)站的防屏蔽實現(xiàn)方法,改進的網(wǎng)頁正文抽取方法適用于新聞類網(wǎng)頁,是一種通用性較強、性能優(yōu)越的正文抽取算法。在網(wǎng)頁去重技術方面,本文主要介紹了網(wǎng)頁URL比對去重技術和基于內(nèi)容的去重策略,并采用基于分詞的向量空間模型和余弦夾角公式實現(xiàn)了基于內(nèi)容的標題去重,給出了其核心算法。
　　 最