面向智能電子商務的Web挖掘理論與方法的研究.pdf

1、隨著全球信息化的發(fā)展，信息量指數(shù)增長，電子商務在全球取得了迅速發(fā)展。目前電子商務已經發(fā)展到一個新的階段，處理對象向綜合化、大型化、復雜化方向發(fā)展。把智能計算技術應用到電子商務，解決現(xiàn)有電子商務技術在大量商品信息的搜索、分析和決策等方面的種種不足，已經成為發(fā)達國家大企業(yè)提高競爭力和市場份額的戰(zhàn)略選擇。利用Web挖掘技術對電子商務中的大量數(shù)據(jù)進行存儲、管理、對比、檢索、尋找其相關性，挖掘出數(shù)據(jù)所隱藏的規(guī)律，自動獲取知識，可以對電子商務作出決

2、策支持。智能電子商務網(wǎng)站能為用戶提供個性化和推薦商品服務，使用戶快速找到自己需要的商品，提高用戶的信任度。智能電子商務網(wǎng)站也可以通過預取和緩存方法來提高網(wǎng)站的性能，減少用戶的延時感受，間接提高用戶的滿意度。為用戶提供更加稱心如意的智能服務，讓用戶享受一種個性化的購物體驗，才能留住和爭取更多的用戶，從而在競爭中取得先機。　　目前，基于Web挖掘的智能電子商務技術存在著各種不同的問題。首先，大部分Web挖掘方法都使用Web日志作為數(shù)據(jù)源，

3、冗余數(shù)據(jù)多，預處理方法不精確且效率低，為挖掘算法提供質量差的數(shù)據(jù)源。其次，各種Web挖掘算法沒有很好地結合電子商務的特性來設計，挖掘算法性能低，挖掘結果的質量差且缺乏語義。再次，存放挖掘結果的知識庫沒有得到有效管理，降低了知識匹配速度和利用率。以上這些問題都很大程度地影響了智能服務的精度和性能。本文針對當前基于Web挖掘的智能電子商務網(wǎng)站中存在的問題，設計了一個組件化的多層次的體系結構框架，提出了利用新的Web數(shù)據(jù)源模型統(tǒng)一事件模型作為

4、基礎，設計個性化、推薦、預取、規(guī)則求精等方面的智能算法，為網(wǎng)上用戶提供比現(xiàn)有電子商務網(wǎng)站更具人性化特色和成功率更高的智能服務。本論文的創(chuàng)新主要體現(xiàn)在：(1)提出了一種基于應用層記錄的統(tǒng)一事件模型UEM。該模型提供方便和精確的數(shù)據(jù)源搜集方式，搜集的數(shù)據(jù)內容齊全，提供Web挖掘算法分析所需要的數(shù)據(jù)。UEM的準確、快速的用戶識別和會話識別算法為Web使用挖掘算法提供了準確的數(shù)據(jù)源。UEM可擴充性好，可以根據(jù)需要很方便地增加各種的電子商務行為的

5、數(shù)據(jù)記錄。UEM能方便地把用戶會話的結果轉化為事件序列庫，供Web挖掘算法使用。UEM很好地支持多維多層次的Web使用挖掘算法分析。新的Web數(shù)據(jù)源模型的提出，為智能電子商務站點提供了高質量的數(shù)據(jù)源，進而提高智能服務的質量?！　?2)通過改進的信任函數(shù)公式和啟發(fā)式聚類方法，提出了基于用戶任務級的Web用戶聚類算法UTC，發(fā)現(xiàn)每簇用戶群共同的訪問模式。UTC將頻繁特征子序列視為任務，使用信任函數(shù)進行基于用戶任務級的用戶聚類挖掘。基于用戶

6、級的挖掘能有效地挖掘同組用戶共同的訪問模式且具有較好的性能；基于任務級的挖掘具有較好的語義涵義且具有較好的性能。該算法有效地挖掘用戶群的訪問模式，為智能電子商務站點提供更高質量的個性化、推薦等智能服務?！　?3)提出一種基于Markov樹的混合階Markov樹預取算法HOMT，發(fā)現(xiàn)用戶訪問轉移模式，同時進行快速的在線預取。HOMT使用一個模式樹壓縮存儲所有的Web訪問序列和一種逐階增量更新方法來創(chuàng)建所有階的Markov模式樹?；旌想A算

7、法綜合考慮Markov模型各階對預取的影響，具有高覆蓋率和高精確率。利用離線產生的預取樹，HOMT在線使用快速預測算法進行用戶訪問預測，從而進行高性能的預取。該算法有效提高了電子商務中Web預取等智能服務的質量，減少用戶的延時感受?！　?4)提出了Web拓撲概率模型和有趣關聯(lián)規(guī)則算法IAR，結合商品目錄(網(wǎng)絡拓撲等)，對挖掘出的關聯(lián)規(guī)則進行有趣度評價，得出有趣度高的規(guī)則，即規(guī)則求精。進一步改進了IAR算法，提出了一種矩陣迭代的規(guī)則求精

8、算法WTPM，快速迭代求解任意兩個頁面間的關聯(lián)概率。規(guī)則求精能對知識庫進行有效管理，提高了知識的利用率，進而提高智能服務的質量和性能?！　?5)充分結合多功能數(shù)據(jù)挖掘器(MFDM)，設計并實現(xiàn)多層體系架構的智能商品信息分析決策網(wǎng)站的原型系統(tǒng)MyEShop，作為具有自主知識產權的Ego網(wǎng)絡購物引擎系統(tǒng)的一部分。Ego系統(tǒng)采用搜索技術自動在網(wǎng)上搜索商品信息，并自動進行信息提取，學習用戶興趣，進行個性化、推薦、預取等智能服務。目前，國內外極