53常用數(shù)據(jù)挖掘技術

1、5.3常用數(shù)據(jù)挖掘技術 常用數(shù)據(jù)挖掘技術5.3.1 Web 挖掘 挖掘今天Web已成為信息發(fā)布、交互及獲取的主要工具，Web上的信息量正以驚人的速度 增加著，人們迫切需要能自動地從Web上發(fā)現(xiàn)、抽取和過濾信息的工具。同時，近年來， 由于電子商務的快速發(fā)展，許多公司借助Internet進行在線交易，企業(yè)管理者需要分析大量 的在線交易數(shù)據(jù)，從而發(fā)現(xiàn)用戶的興趣愛好及購買趨勢，為商業(yè)決策風險投資等提供依據(jù)。 具體來講，當我們與Web交互時，常面

2、臨如下間題：1. 查詢相關信息。這是查詢觸發(fā)的過程，我們希望從Web上找到關于VC++編程指南的 書，關于申辦奧運會的信息，甚至關于愛滋病的報道等等.可以用搜索引擎如Yahoo Sohu等 進行關鍵字查找，然而，今天的搜索引擎都有兩個嚴重問題:低查準率會返回很多不相關的 結果;低查全率有很多相關的文檔找不到。2從Web數(shù)據(jù)發(fā)現(xiàn)潛在的未知信息。這是數(shù)據(jù)觸發(fā)的過程，僅僅用關鍵字的查找是不 能實現(xiàn)的，籍要機器學習和數(shù)據(jù)挖掘技術，現(xiàn)在的搜索引擎

3、不具備這些功能。3. 了解用戶的興趣愛好。Web sever能根據(jù)用戶的瀏覽信息，自動地發(fā)現(xiàn)用戶的興趣愛 好，即用戶的Profile。4. 信息個性化。不同人訪問Web的目的、興趣、愛好是有差別的，使用戶能依據(jù)自己 的興趣愛好定制網頁，甚至Web server能根據(jù)已發(fā)現(xiàn)的用戶Profile自動為用戶定制網頁。最后三個問題與電子商務、Web站點設計、自適，)本文得到國家自然基金資助項目資 助((79970092)e應Web站點緊密聯(lián)系。

4、現(xiàn)在的搜索引擎僅僅能解決第一個間題，其它問題 是無能為力的。當今世界上研究的熱門領域一 eb挖掘能直接或間接地解決上述問題。 Web挖掘是數(shù)據(jù)庫、數(shù)據(jù)挖掘、人工智能、信息檢索、自然語言理解等技術的綜合應用。 由于Web是異質分布且不斷增長的信息系統(tǒng)，對其挖掘并不是上述技術的簡單綜合，它需 要有新的數(shù)據(jù)模型、體系結構和算法等。Web挖掘與信息檢索、機器學習Web挖掘是從Web中尋找有用的潛在的以前未知的 知識。Web挖掘分成四步：1.

5、 資源發(fā)現(xiàn):在線或離線檢索Web的過程，例如用爬蟲(crawler)或蜘蛛(spider)在線收集 Web頁面。2. 信息選擇與預處理;對檢索到的Web資源的任何變換都屬于此過程。如英文單詞的詞 干提取，高頻低頻詞的過濾，漢語詞的切分，索引庫的建立甚至把Web數(shù)據(jù)變換成關系。3. 綜合過程:自動發(fā)現(xiàn)Web站點的共有模式。4. 分析過程:對挖掘到的模式進行驗證和可視化處理。Web挖掘與信息檢索、機器學習是緊密聯(lián)系的，但又有所區(qū)別。信息檢索

6、是根據(jù)用戶 的需求描述，從文檔集中自動地檢索與用戶需求相關的文檔，同時使不相關的盡量少。它是 目標驅動，查詢觸發(fā)的過程，主要任務是對于給定的文檔怎樣建索引，怎樣檢索?，F(xiàn)代信息 檢索研究的領域包括:建模、文檔預處理、文檔分類聚類、用戶需求描述查詢語言)、用戶界 面和數(shù)據(jù)可視化等。Web挖掘使用信息檢索技術對Web頁面進行預處理、分類聚類、建索 引，從這一點講，Web挖掘是信息檢索的一部分。但Web挖掘要處理的頁面是海量、異質、 分布、動態(tài)

7、、變化的，要求Web挖掘采取更有效的存取策略、更新策略，同時，Web挖掘 是一個數(shù)據(jù)觸發(fā)的過程，它發(fā)現(xiàn)的知識是潛在的用戶以前未知的。應用主要集中在模式發(fā)現(xiàn)或建立數(shù)據(jù)向導(data guides),也有的研究者用來建立多層數(shù) 據(jù)庫，低層為原始的半結構化數(shù)據(jù)，較高層為元數(shù)據(jù)或從低層抽取的模式，在高層被表示成 關系或對象等，另外，還有一些Web上的查詢系統(tǒng)。早期的查詢系統(tǒng)是把基于搜索引擎的 內容查詢與數(shù)據(jù)庫的結構化查詢結合起來，如W 3QL,

8、 Web SQL等。近來的查詢語言強調支 持半結構化數(shù)據(jù)，能夠存取Web對象，用復雜結構表達查詢結果，如Lorel UnQL, Web OQL, StruQL, Florid 等系統(tǒng)。Web結構挖掘研究的是Web文檔的鏈接結構，揭示蘊含在這些文檔結構中的有用模式， 處理的數(shù)據(jù)是Web結構數(shù)據(jù)。文檔間的超鏈反映了文檔間的某種聯(lián)系，如包含、從屬、引 用等?？墒褂靡浑A學習的方法對Web頁面超鏈進行分類，以判斷頁面間的men-bets of p

9、roject, department of persons等關系；也可分別使用HITS和Page rank算法計算頁面間的引用重要 性，基本思想是對于一個Web頁面，如果有較多的超鏈指向它，那么該頁面是重要的，此 重要性可作為Web頁面評分(rank)的標準。這方面的算法有HITSC, Page rank及改進的HITS 把內容信息加入到鏈接結構中。成型的應用系統(tǒng)有Clever sys-tem, Google等。Web頁面內部 也有或多

10、或少的結構，也研究了 Web頁面的內部結構，提出了一些啟發(fā)式規(guī)則，用于尋找 與給定的頁面集合相關的其它頁面;可使用HTML結構樹對Web頁面進行分析，得到其內部 結構，用于學習公司的名稱和地址等信息的頁面內的出現(xiàn)模式。另外，在Web數(shù)據(jù)倉庫中 可以用Web結構挖掘檢測Web站點的完整性。Web訪問挖掘是用挖掘Web服務器log日志獲取的知識預測用戶瀏覽行為的技術。由 于Web自身的特點:異質、分布、動態(tài)、無統(tǒng)一結構，使得在其上進行內容

11、挖掘較困難，它 需要在人工智能自然語言理解等方面有突破性進展。然而，Web服務器的log日志卻有完美 的結構，每當用戶訪問Web站點時，所訪問的頁面、時間、用戶ID等信息，在log日志中 都有相應的記錄。因而對其進行挖掘，是切實可行的也是很有意義的。Web的log數(shù)據(jù)包 括:server log, proxy server log及client端的cookie log等。一般先把log數(shù)據(jù)映射成關系或對 其進行預處理，然后才能使用挖掘

12、算法。進行預處理包括清除與挖掘不相關的信息，用戶、 會話、事務的識別等。對log數(shù)據(jù)可靠性影響最大的是局部緩存和代理服務器(proxy server)。 為了提高性能，降低負載，很多瀏覽器都緩存用戶訪問的頁面，當用戶返回瀏覽時，瀏覽器 只從其局部緩存取得，服務器卻沒有用戶返回動作的記錄。代理服務器提供間接緩存，它比 局部緩存帶來的問題更嚴重，從代表服務器來的所有請求，即使用戶不同，它們在服務器的 log中也有相同的心。目前解決的主要方法

13、是cookies和遠程Agent技術。對log數(shù)據(jù)挖掘采用的算法有:路徑分析、關聯(lián)規(guī)則和有序模式的發(fā)現(xiàn)、聚類分類等，為 了提高精度，訪間挖掘也用到站點結構和頁面內容等信息。Web訪問挖掘可以自動發(fā)現(xiàn)用戶存取Web的興趣愛好(即用戶profile)及瀏覽的頻繁路徑。 Web用戶希望Web服務器能了解他們的愛好，提供他們感興趣的東西，要求Web具有個性 化服務的功能;另一方面，信息提供者希望依據(jù)用戶的profile和瀏覽模式，改進站點的組織

14、 性能。Web訪問挖掘獲得的知識，可以幫助我們進行自適應站點設計、信息組織、個性化 服務、商業(yè)決策等。最后我們可以總結一下：近年來，電子商務、電子圖書館、遠程教育等己成為Web的 主要應用，這使得Web挖掘成為國際上的熱門研究領域。本文給出了 Web挖掘研究的三種 分類，針對每一種分類介紹了其表示形式、處理方法、應用領域及最近的研究情況，討論了 Web挖掘與信息檢索、機器學習的聯(lián)系。但是，限于篇幅，本文沒有進行深人細致的探討， 有興趣讀