Web中文信息獲取的算法研究.pdf

1、隨著Internet技術的高速發(fā)展，WWW技術已逐漸成為Internet上最重要的信息發(fā)布和傳輸方式，Web已經(jīng)成為人們獲取信息的一個重要信息來源。面對Web上海量的信息資源，用戶如何快速、有效地獲取自己感興趣的主題信息，已成為一個十分迫切的熱點課題。 Web信息獲取主要包括信息檢索和信息抽取。它涉及到計算機網(wǎng)絡、數(shù)據(jù)挖掘、文本處理、人工智能等多個領域，其關鍵技術，包括搜索引擎技術、信息抽取技術和自動分類技術等。本論文的主要工

2、作是對Web中文信息獲取的相關算法進行研究，旨在解決Web信息獲取存在的一些問題，以提高信息獲取的性能。 本文首先介紹了信息抽取問題的提出，對Web信息檢索系統(tǒng)、Web信息抽取技術、搜索引擎進行了簡要綜述。 中文自動分詞技術是中文信息的基礎，有著極其廣泛的實際應用。本文第二部分針對中文自動分詞技術，分析了中文分詞詞典的機制，提出了一種改進的整詞分詞字典結(jié)構(gòu)，并針對機械分詞算法的特點，將其與概率算法相結(jié)合，探討了一種中文自

3、動分詞概率算法。采用哈希及二分法對詞典進行分詞匹配，實驗表明，該算法具有較高的分詞效率和準確率，對于消去歧義詞也有較好的性能。 頁面排序算法是搜索引擎的核心技術。本文第三部分分析了Web頁面主題分布的特點，對經(jīng)典的頁面排序算法進行了探討，提出了一種基于內(nèi)容和超鏈接分析并結(jié)合用戶點擊行為的相關度排序算法，能夠客觀分析網(wǎng)頁所包含的主題信息，盡量保證檢索結(jié)果的相關性。實驗表明，該算法能有效提高查準率，較好地解決了主題漂移現(xiàn)象，且具有良