53常用數(shù)據(jù)挖掘技術(shù)

1、5.3常用數(shù)據(jù)挖掘技術(shù) 常用數(shù)據(jù)挖掘技術(shù)5.3.1 Web 挖掘 挖掘今天Web已成為信息發(fā)布、交互及獲取的主要工具，Web上的信息量正以驚人的速度 增加著，人們迫切需要能自動(dòng)地從Web上發(fā)現(xiàn)、抽取和過(guò)濾信息的工具。同時(shí)，近年來(lái)， 由于電子商務(wù)的快速發(fā)展，許多公司借助Internet進(jìn)行在線交易，企業(yè)管理者需要分析大量 的在線交易數(shù)據(jù)，從而發(fā)現(xiàn)用戶的興趣愛(ài)好及購(gòu)買趨勢(shì)，為商業(yè)決策風(fēng)險(xiǎn)投資等提供依據(jù)。 具體來(lái)講，當(dāng)我們與Web交互時(shí)，常面

2、臨如下間題：1. 查詢相關(guān)信息。這是查詢觸發(fā)的過(guò)程，我們希望從Web上找到關(guān)于VC++編程指南的 書(shū)，關(guān)于申辦奧運(yùn)會(huì)的信息，甚至關(guān)于愛(ài)滋病的報(bào)道等等.可以用搜索引擎如Yahoo Sohu等 進(jìn)行關(guān)鍵字查找，然而，今天的搜索引擎都有兩個(gè)嚴(yán)重問(wèn)題:低查準(zhǔn)率會(huì)返回很多不相關(guān)的 結(jié)果;低查全率有很多相關(guān)的文檔找不到。2從Web數(shù)據(jù)發(fā)現(xiàn)潛在的未知信息。這是數(shù)據(jù)觸發(fā)的過(guò)程，僅僅用關(guān)鍵字的查找是不 能實(shí)現(xiàn)的，籍要機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)，現(xiàn)在的搜索引擎

3、不具備這些功能。3. 了解用戶的興趣愛(ài)好。Web sever能根據(jù)用戶的瀏覽信息，自動(dòng)地發(fā)現(xiàn)用戶的興趣愛(ài) 好，即用戶的Profile。4. 信息個(gè)性化。不同人訪問(wèn)Web的目的、興趣、愛(ài)好是有差別的，使用戶能依據(jù)自己 的興趣愛(ài)好定制網(wǎng)頁(yè)，甚至Web server能根據(jù)已發(fā)現(xiàn)的用戶Profile自動(dòng)為用戶定制網(wǎng)頁(yè)。最后三個(gè)問(wèn)題與電子商務(wù)、Web站點(diǎn)設(shè)計(jì)、自適，)本文得到國(guó)家自然基金資助項(xiàng)目資 助((79970092)e應(yīng)Web站點(diǎn)緊密聯(lián)系。

4、現(xiàn)在的搜索引擎僅僅能解決第一個(gè)間題，其它問(wèn)題 是無(wú)能為力的。當(dāng)今世界上研究的熱門領(lǐng)域一 eb挖掘能直接或間接地解決上述問(wèn)題。 Web挖掘是數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、人工智能、信息檢索、自然語(yǔ)言理解等技術(shù)的綜合應(yīng)用。 由于Web是異質(zhì)分布且不斷增長(zhǎng)的信息系統(tǒng)，對(duì)其挖掘并不是上述技術(shù)的簡(jiǎn)單綜合，它需 要有新的數(shù)據(jù)模型、體系結(jié)構(gòu)和算法等。Web挖掘與信息檢索、機(jī)器學(xué)習(xí)Web挖掘是從Web中尋找有用的潛在的以前未知的 知識(shí)。Web挖掘分成四步：1.

5、 資源發(fā)現(xiàn):在線或離線檢索Web的過(guò)程，例如用爬蟲(chóng)(crawler)或蜘蛛(spider)在線收集 Web頁(yè)面。2. 信息選擇與預(yù)處理;對(duì)檢索到的Web資源的任何變換都屬于此過(guò)程。如英文單詞的詞 干提取，高頻低頻詞的過(guò)濾，漢語(yǔ)詞的切分，索引庫(kù)的建立甚至把Web數(shù)據(jù)變換成關(guān)系。3. 綜合過(guò)程:自動(dòng)發(fā)現(xiàn)Web站點(diǎn)的共有模式。4. 分析過(guò)程:對(duì)挖掘到的模式進(jìn)行驗(yàn)證和可視化處理。Web挖掘與信息檢索、機(jī)器學(xué)習(xí)是緊密聯(lián)系的，但又有所區(qū)別。信息檢索

6、是根據(jù)用戶 的需求描述，從文檔集中自動(dòng)地檢索與用戶需求相關(guān)的文檔，同時(shí)使不相關(guān)的盡量少。它是 目標(biāo)驅(qū)動(dòng)，查詢觸發(fā)的過(guò)程，主要任務(wù)是對(duì)于給定的文檔怎樣建索引，怎樣檢索?，F(xiàn)代信息 檢索研究的領(lǐng)域包括:建模、文檔預(yù)處理、文檔分類聚類、用戶需求描述查詢語(yǔ)言)、用戶界 面和數(shù)據(jù)可視化等。Web挖掘使用信息檢索技術(shù)對(duì)Web頁(yè)面進(jìn)行預(yù)處理、分類聚類、建索 引，從這一點(diǎn)講，Web挖掘是信息檢索的一部分。但Web挖掘要處理的頁(yè)面是海量、異質(zhì)、 分布、動(dòng)態(tài)

7、、變化的，要求Web挖掘采取更有效的存取策略、更新策略，同時(shí)，Web挖掘 是一個(gè)數(shù)據(jù)觸發(fā)的過(guò)程，它發(fā)現(xiàn)的知識(shí)是潛在的用戶以前未知的。應(yīng)用主要集中在模式發(fā)現(xiàn)或建立數(shù)據(jù)向?qū)?data guides),也有的研究者用來(lái)建立多層數(shù) 據(jù)庫(kù)，低層為原始的半結(jié)構(gòu)化數(shù)據(jù)，較高層為元數(shù)據(jù)或從低層抽取的模式，在高層被表示成 關(guān)系或?qū)ο蟮?，另外，還有一些Web上的查詢系統(tǒng)。早期的查詢系統(tǒng)是把基于搜索引擎的 內(nèi)容查詢與數(shù)據(jù)庫(kù)的結(jié)構(gòu)化查詢結(jié)合起來(lái)，如W 3QL,

8、 Web SQL等。近來(lái)的查詢語(yǔ)言強(qiáng)調(diào)支 持半結(jié)構(gòu)化數(shù)據(jù)，能夠存取Web對(duì)象，用復(fù)雜結(jié)構(gòu)表達(dá)查詢結(jié)果，如Lorel UnQL, Web OQL, StruQL, Florid 等系統(tǒng)。Web結(jié)構(gòu)挖掘研究的是Web文檔的鏈接結(jié)構(gòu)，揭示蘊(yùn)含在這些文檔結(jié)構(gòu)中的有用模式， 處理的數(shù)據(jù)是Web結(jié)構(gòu)數(shù)據(jù)。文檔間的超鏈反映了文檔間的某種聯(lián)系，如包含、從屬、引 用等?？墒褂靡浑A學(xué)習(xí)的方法對(duì)Web頁(yè)面超鏈進(jìn)行分類，以判斷頁(yè)面間的men-bets of p

9、roject, department of persons等關(guān)系；也可分別使用HITS和Page rank算法計(jì)算頁(yè)面間的引用重要 性，基本思想是對(duì)于一個(gè)Web頁(yè)面，如果有較多的超鏈指向它，那么該頁(yè)面是重要的，此 重要性可作為Web頁(yè)面評(píng)分(rank)的標(biāo)準(zhǔn)。這方面的算法有HITSC, Page rank及改進(jìn)的HITS 把內(nèi)容信息加入到鏈接結(jié)構(gòu)中。成型的應(yīng)用系統(tǒng)有Clever sys-tem, Google等。Web頁(yè)面內(nèi)部 也有或多

10、或少的結(jié)構(gòu)，也研究了 Web頁(yè)面的內(nèi)部結(jié)構(gòu)，提出了一些啟發(fā)式規(guī)則，用于尋找 與給定的頁(yè)面集合相關(guān)的其它頁(yè)面;可使用HTML結(jié)構(gòu)樹(shù)對(duì)Web頁(yè)面進(jìn)行分析，得到其內(nèi)部 結(jié)構(gòu)，用于學(xué)習(xí)公司的名稱和地址等信息的頁(yè)面內(nèi)的出現(xiàn)模式。另外，在Web數(shù)據(jù)倉(cāng)庫(kù)中 可以用Web結(jié)構(gòu)挖掘檢測(cè)Web站點(diǎn)的完整性。Web訪問(wèn)挖掘是用挖掘Web服務(wù)器log日志獲取的知識(shí)預(yù)測(cè)用戶瀏覽行為的技術(shù)。由 于Web自身的特點(diǎn):異質(zhì)、分布、動(dòng)態(tài)、無(wú)統(tǒng)一結(jié)構(gòu)，使得在其上進(jìn)行內(nèi)容

11、挖掘較困難，它 需要在人工智能自然語(yǔ)言理解等方面有突破性進(jìn)展。然而，Web服務(wù)器的log日志卻有完美 的結(jié)構(gòu)，每當(dāng)用戶訪問(wèn)Web站點(diǎn)時(shí)，所訪問(wèn)的頁(yè)面、時(shí)間、用戶ID等信息，在log日志中 都有相應(yīng)的記錄。因而對(duì)其進(jìn)行挖掘，是切實(shí)可行的也是很有意義的。Web的log數(shù)據(jù)包 括:server log, proxy server log及client端的cookie log等。一般先把log數(shù)據(jù)映射成關(guān)系或?qū)?其進(jìn)行預(yù)處理，然后才能使用挖掘

12、算法。進(jìn)行預(yù)處理包括清除與挖掘不相關(guān)的信息，用戶、 會(huì)話、事務(wù)的識(shí)別等。對(duì)log數(shù)據(jù)可靠性影響最大的是局部緩存和代理服務(wù)器(proxy server)。 為了提高性能，降低負(fù)載，很多瀏覽器都緩存用戶訪問(wèn)的頁(yè)面，當(dāng)用戶返回瀏覽時(shí)，瀏覽器 只從其局部緩存取得，服務(wù)器卻沒(méi)有用戶返回動(dòng)作的記錄。代理服務(wù)器提供間接緩存，它比 局部緩存帶來(lái)的問(wèn)題更嚴(yán)重，從代表服務(wù)器來(lái)的所有請(qǐng)求，即使用戶不同，它們?cè)诜?wù)器的 log中也有相同的心。目前解決的主要方法

13、是cookies和遠(yuǎn)程Agent技術(shù)。對(duì)log數(shù)據(jù)挖掘采用的算法有:路徑分析、關(guān)聯(lián)規(guī)則和有序模式的發(fā)現(xiàn)、聚類分類等，為 了提高精度，訪間挖掘也用到站點(diǎn)結(jié)構(gòu)和頁(yè)面內(nèi)容等信息。Web訪問(wèn)挖掘可以自動(dòng)發(fā)現(xiàn)用戶存取Web的興趣愛(ài)好(即用戶profile)及瀏覽的頻繁路徑。 Web用戶希望Web服務(wù)器能了解他們的愛(ài)好，提供他們感興趣的東西，要求Web具有個(gè)性 化服務(wù)的功能;另一方面，信息提供者希望依據(jù)用戶的profile和瀏覽模式，改進(jìn)站點(diǎn)的組織

14、 性能。Web訪問(wèn)挖掘獲得的知識(shí)，可以幫助我們進(jìn)行自適應(yīng)站點(diǎn)設(shè)計(jì)、信息組織、個(gè)性化 服務(wù)、商業(yè)決策等。最后我們可以總結(jié)一下：近年來(lái)，電子商務(wù)、電子圖書(shū)館、遠(yuǎn)程教育等己成為Web的 主要應(yīng)用，這使得Web挖掘成為國(guó)際上的熱門研究領(lǐng)域。本文給出了 Web挖掘研究的三種 分類，針對(duì)每一種分類介紹了其表示形式、處理方法、應(yīng)用領(lǐng)域及最近的研究情況，討論了 Web挖掘與信息檢索、機(jī)器學(xué)習(xí)的聯(lián)系。但是，限于篇幅，本文沒(méi)有進(jìn)行深人細(xì)致的探討， 有興趣讀