web挖掘及其應(yīng)用

1、Web挖掘及其應(yīng)用,張浩若審計(jì)13012013012294,在競(jìng)爭(zhēng)日益激烈的網(wǎng)絡(luò)經(jīng)濟(jì)中，只有贏得用戶才能最終贏得競(jìng)爭(zhēng)的優(yōu)勢(shì)。而作為一個(gè)網(wǎng)站，你知道用戶都在你的網(wǎng)站上干什么嗎？你知道你的網(wǎng)站哪些部分最為用戶喜愛？而哪些讓用戶感到厭煩？什么地方出了安全漏洞？什么樣的改動(dòng)帶來了顯著的用戶滿意度提高？什么樣的改動(dòng)反而丟失了用戶？你怎樣評(píng)價(jià)你的網(wǎng)站廣告條的效率？你知道什么樣的廣告條點(diǎn)擊率最高嗎？“知己知彼，方能百戰(zhàn)不殆”

2、，你真的了解自己嗎？,挑戰(zhàn)的背后機(jī)會(huì)仍存所有客戶行為的電子化（Click Stream）使得大量收集每個(gè)用戶的每一個(gè)行為數(shù)據(jù)并深入研究客戶行為成為可能如何利用這個(gè)機(jī)會(huì)從這些繁瑣數(shù)據(jù)中得到大家都看得懂的有價(jià)值的信息和知識(shí)是我們面臨的問題,基于WEB 使用的挖掘，也稱為WEB 日志挖掘（Web Log Mining）。與前兩種挖掘方式以網(wǎng)上的原始數(shù)據(jù)為挖掘?qū)ο蟛煌?，基于WE

3、B 使用的挖掘，面對(duì)的是在用戶和網(wǎng)絡(luò)交互的過程中抽取出來的第二手?jǐn)?shù)據(jù)。這些數(shù)據(jù)包括：網(wǎng)絡(luò)服務(wù)器訪問記錄、代理服務(wù)器日志記錄、用戶注冊(cè)信息以及用戶訪問網(wǎng)站時(shí)的行為動(dòng)作等等。WEB 使用挖掘?qū)⑦@些數(shù)據(jù)一一紀(jì)錄到日志文件中，然后對(duì)積累起來的日志文件進(jìn)行挖掘，從而了解用戶的網(wǎng)絡(luò)行為數(shù)據(jù)所具有的意義。,基于WEB 內(nèi)容的挖掘,非結(jié)構(gòu)化半結(jié)構(gòu)化\文本文檔超文本文檔\Bag of 

4、 words n-grams 詞短語概念或?qū)嶓w關(guān)系型數(shù)據(jù)\TFIDF 變體機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)(包括自然語言處理)歸類聚類發(fā)掘抽取規(guī)則發(fā)掘文本模式建立模式,基于WEB 結(jié)構(gòu)的挖掘,半結(jié)構(gòu)化數(shù)據(jù)庫形式的網(wǎng)站鏈接結(jié)構(gòu)\超文本文檔鏈接\邊界標(biāo)志圖 OEM 關(guān)系型數(shù)據(jù)圖形\Proprietary 算法 ILP (修改后)的關(guān)聯(lián)規(guī)則\發(fā)

5、掘高頻的子結(jié)構(gòu)發(fā)掘網(wǎng)站體系結(jié)構(gòu)歸類聚類,基于WEB 使用的挖掘,交互形式\服務(wù)器日志記錄 瀏覽器日志記錄\關(guān)系型表圖形\Proprietary 算法 機(jī)器學(xué)習(xí) 統(tǒng)計(jì)學(xué)(修改后的）關(guān)聯(lián)規(guī)則\站點(diǎn)建設(shè)改進(jìn)與管理 建立用戶模式,Web Mining 技術(shù)已經(jīng)應(yīng)用于解決多方面的問題比如基于WEB 內(nèi)容和結(jié)構(gòu)的挖掘幫我們從網(wǎng)絡(luò)中更

6、加快速準(zhǔn)確地獲取所需資料而基于使用的數(shù)據(jù)挖掘之威力更是在商業(yè)運(yùn)作上發(fā)揮的淋漓盡致具體表現(xiàn)在：,1. 對(duì)網(wǎng)站的修改能有目的有依據(jù)穩(wěn)步的提高用戶滿意度,發(fā)現(xiàn)系統(tǒng)性能瓶頸，找到安全漏洞，查看網(wǎng)站流量模式，找到網(wǎng)站最重要的部分，發(fā)現(xiàn)用戶的需要和興趣，對(duì)需求強(qiáng)烈的地方提供優(yōu)化，根據(jù)用戶訪問模式修改網(wǎng)頁之間的連接，把用戶想要的東西以更快且有效的方式提供給用戶，在正確的地方正確的時(shí)間把正確的信息提供給正確的人。,2. 測(cè)定投資回報(bào)率,

7、測(cè)定廣告和促銷計(jì)劃的成功度找到最有價(jià)值的ISP和搜索引擎測(cè)定合作和結(jié)盟網(wǎng)站對(duì)自身的價(jià)值,3. 提供個(gè)性化網(wǎng)站,對(duì)大多數(shù)WEB 應(yīng)用來說，讓用戶感到這個(gè)網(wǎng)站是完全為他自己定制的個(gè)性化網(wǎng)站，是WEB 站點(diǎn)成功的秘訣。針對(duì)不同的用戶完全按照其個(gè)人的興趣和愛好（數(shù)據(jù)挖掘算法得到的用戶訪問模式）向用戶動(dòng)態(tài)的提供要瀏覽的建議自動(dòng)提供個(gè)性化的網(wǎng)站。,Web數(shù)據(jù)挖掘在電子商務(wù)方面的應(yīng)用,Web挖掘這方面的應(yīng)用可以為企

8、業(yè)更有效的確認(rèn)目標(biāo)市場(chǎng)、改進(jìn)決策獲得更大的競(jìng)爭(zhēng)優(yōu)勢(shì)提供幫助，從中可得到商家用于特定消費(fèi)群體或個(gè)體進(jìn)行定向營銷的決策信息。電子商務(wù)方面的Web挖掘功能主要是如下幾個(gè)方面：首先，客戶分類和客戶聚類。對(duì)Web的客戶訪問信息進(jìn)行挖掘。對(duì)客戶進(jìn)行分類分析。應(yīng)用聚類分析對(duì)客戶進(jìn)行分組，并且分析組中客戶的共同特征，這樣就可以讓商家更好了解自己的客戶，向客戶提供更有針對(duì)性的服務(wù)。其次是找到潛在的客戶。在對(duì)Web的客戶訪問信息的挖掘中，利用分類技術(shù)可在因

9、特網(wǎng)上找到未來的潛在客戶。最后保留客戶的駐留時(shí)間。對(duì)于客戶而言，在網(wǎng)上每個(gè)銷售商對(duì)于客戶來說都是樣的，如何盡量使客戶在自己的網(wǎng)上駐留更長的時(shí)間，這樣對(duì)于商家才能有更多客戶和更大的利潤空間。,Web數(shù)據(jù)挖掘在網(wǎng)絡(luò)教育中的應(yīng)用,教育網(wǎng)絡(luò)化的趨勢(shì)不僅為學(xué)生提供了便利的學(xué)習(xí)方式和廣泛的選擇，也為學(xué)校提供了更加深入了解學(xué)生需求信息和學(xué)生行為特征的可能性。由于受教育對(duì)象個(gè)體之間存在著極大的差異性，網(wǎng)絡(luò)教學(xué)也必須是一種適應(yīng)個(gè)別化學(xué)習(xí)需求的個(gè)性化教學(xué)。

10、這種個(gè)性化教學(xué)的提供。是通過將傳統(tǒng)的數(shù)據(jù)挖M Web結(jié)合起來。進(jìn)行Web數(shù)據(jù)挖掘，即從Web文檔和Web活動(dòng)中抽取學(xué)生感興趣的潛在的有用模式和隱藏的信息，作為對(duì)學(xué)生提供個(gè)性化教學(xué)服務(wù)的依據(jù)，協(xié)助管理者優(yōu)化站點(diǎn)結(jié)構(gòu)。提高站點(diǎn)效率，更好地為網(wǎng)絡(luò)教育服務(wù)。,Web數(shù)據(jù)挖掘在網(wǎng)站設(shè)計(jì)中的應(yīng)用,在網(wǎng)站設(shè)計(jì)方面中的應(yīng)用，主要是通過對(duì)網(wǎng)站內(nèi)容的挖掘。特別是對(duì)文本內(nèi)容的挖掘，可以有效地組織網(wǎng)站信息。如采用自動(dòng)歸類技術(shù)實(shí)現(xiàn)網(wǎng)站信息的層次性組織