Web訪問挖掘研究.pdf

1、web訪問挖掘研究摘要今天，Web正以驚人的速度發(fā)展著，它己成為人們進行信息發(fā)布、交互及獲取的主要工具，人們上網(wǎng)的主要目的也是為了獲取信息。根據(jù)預(yù)測，在十幾年內(nèi)，人類的所有信息都將能在互聯(lián)網(wǎng)上得到。網(wǎng)上如此豐富的數(shù)據(jù)也帶來了巨大的挑戰(zhàn):怎樣使web變得讓人們更容易獲取信息。當(dāng)前，人們從網(wǎng)上獲取信息的主要工具還是搜索引擎。今天的搜索引擎還存在低精確度、低檢索率、不能充分表達用戶的需求、沒有用戶定制功能等諸多問題。由于web是一個無集中控制

2、、無統(tǒng)一結(jié)構(gòu)、無完整性約束并可無限擴充的松散的分布式信息系統(tǒng)，并且網(wǎng)上99%的信息對99%的用戶是沒有價值的[GRS991。網(wǎng)上大部分信息是以HTML文檔的形式存在的，除了超鏈外，沒有明顯的結(jié)構(gòu)信息，對文檔內(nèi)容的抽取和分析是相當(dāng)困難的，因而，完全消除搜索引擎存在的問題是不容易的。本文研究web訪問挖掘的主要目的是獲取用戶訪問web的目標、興趣和偏愛等行為模式，以此來改進Web站點的結(jié)構(gòu)和Web提供服務(wù)的方式，實現(xiàn)站點的自動化管理和信息個

3、性化服務(wù)，從而幫助用戶更容易地獲取所需信息。Web訪問挖掘?qū)τ陔娮由虅?wù)也有重要意義:可以提高客戶關(guān)系管理CRM(customerrelationshipmanagement)的質(zhì)量可以幫助進行商業(yè)決策和安全管理通過個性化服務(wù)，可以實現(xiàn)電子商務(wù)的最終目標一一onetoone的行銷策略。本文所做的研究工作主要有:(1)深入討論了web訪問挖掘中，數(shù)據(jù)準備階段遇到的各種問題，給出了一種識別用戶訪問事務(wù)的簡單、易行的方法。(2)用戶瀏覽web時

4、，有些頁面瀏覽頻率會相當(dāng)高，如站點首頁、嵌有很多超鏈的導(dǎo)航頁等，因而對用戶訪問事務(wù)數(shù)據(jù)進行關(guān)聯(lián)規(guī)則挖掘時，就會產(chǎn)生組合爆炸，發(fā)現(xiàn)過多的規(guī)則而難以理解，本文給出了帶約束關(guān)聯(lián)規(guī)則的快速挖掘算法，解決了組合爆炸問題，并使得提交用戶的規(guī)則的意義更清楚。(3)討論了基于廣義后綴樹的訪問事務(wù)數(shù)據(jù)多功能挖掘方法?；趶V義后綴樹，能夠快速挖掘用戶瀏覽web的關(guān)鍵路徑計算用戶瀏覽web頁面的可達集和可達概率基于發(fā)現(xiàn)的關(guān)鍵路徑，給出了對海量日志數(shù)據(jù)聚類的C

5、WKP算法，該算法解決了現(xiàn)有聚類模型忽略用戶瀏覽web的有序、連續(xù)、重復(fù)特性及聚類維數(shù)過高的缺點，并且，基于廣義后綴樹的路徑發(fā)現(xiàn)，不需要關(guān)聯(lián)規(guī)則頻繁侯選集的計算，因而速度更快，算法具有更好的伸縮性能。(4)對于發(fā)現(xiàn)的模式，研究了在個性化服務(wù)，站點的組織、自動調(diào)整和重構(gòu)，電子商務(wù)等領(lǐng)域的應(yīng)用方法。對于個性化服務(wù)，著重討論了兩種方法:基于推薦的方法和基IResearchonWebAccessMiningAbstractTodaytheWor

6、ldWideWebisrapidlyemergingasanimportantmediumforthedisseminationexchangeandgetingofinformation.AccordingtomostpredictionsthemajorityofhumaninformationwillbeavailableontheWebintenyears.Thesehugeamountsofdataraiseagrandcha

7、llengenamelyhowtoturntheWebintomoreusefulinformationutility.Atpresentthemaintoolsofgettinginformationarestillsearchengines.Todayssearchengineshoweverareplaguedbythefollowingfourproblems:thelowprecisionproblemthelowrecall

8、problemAlimitedqueryinterfacethatisonlybasedonkeywordorientedsearchandhavenofunctionofcustomizationtoindividualusers.TheseproblemsinturncanbeattributedtothefollowingcharacteristicsoftheWeb.FirstandforemosttheWebisahugedi

9、verseanddynamiccollectionofinterlinkedhypertextdocuments.Furthermoreitisbelievedthat99%oftheinformationontheWebisofnointerestto99%ofthepeople.:widelySecondexceptforhyperlinkstheWebislargelyunstructured.Finallymostinforma

10、tionontheWebisintheformofHTMLdocumentsforwhichanalysisandextractionofcontentisverydifficultThereforeitisnoteasytoovercomeallproblemscausedbysearchengines.Inthisthesisweusewebaccessminingtodiscoveruserbrowsingpatternssuch

11、asaimsinterestsandpreferences.Thenthesepaternsareutilizedinimprovingthestructureofwebsitesandthemannerofwebservice.Thuswecanhelpusersgetingwhattheyneedmoreeasilybypersonalizedinformationserviceandautomatedsiteadministrat

12、ion.ItisalsoimportantforEcommercetominethewebaccessdata.Thesignificanceliesinimprovingthecustomerrelationshipmanagementassisting訪makingdecisionandsecuritymanagementandhelpingmerchandisersimplementingaonetoonemarketingstr

13、ategy.Thedissertationiscomposedofthefollowingparts:(1)Wediscussvariousproblemsmetduringdatapreparinginwebaccessminingthengiveasimplemethodtoidentifyuseraccesstransactionsaccordingtohostaddressandbrowserversionusedbyusers

14、whiletheybrowsetheweb(2)Somewebpagesarefrequentlyaccessedforinstancehomepageandnavigationpagesandotherpagesareseldombrowsed.SowhenusingthecurrentApriorialgorithmtodiscoverexplodesassociationrulesfromthesedatawewillmeetat