面向智能服務的Web內(nèi)容計算研究與應用.pdf

1、WEB是人們獲取信息與知識的重要途徑，它的海量性、多樣性、動態(tài)性和半結構化等特性增加了其信息進行自動處理的難度，也吸引了研究者的興趣。如何從大量的信息中發(fā)現(xiàn)用戶感興趣的信息是目前因特網(wǎng)信息搜索研究的課題：如何將WEB上豐富的信息轉化為有用的知識是WEB挖掘和WEB知識發(fā)現(xiàn)的任務：如何使用戶獲取個性化信息，從而使WEB提供更多的服務功能是WEB智能需要解決的問題。目前WEB信息數(shù)據(jù)大致可以分為三類：內(nèi)容數(shù)據(jù)(ContentData)、訪問

2、數(shù)據(jù)(UsageData)和結構數(shù)據(jù)(StructureData)，因此也形成WEB研究的三個大的方向：WEB內(nèi)容挖掘、WEB訪問挖掘和WEB結構挖掘。WEB的信息載體主要是WEB頁面，它的內(nèi)容包含顯示的數(shù)據(jù)、標記和超鏈接?；赪EB內(nèi)容的計算就是以WEB頁面為對象，研究WEB的信息提取、WEB的信息檢索和WEB智能服務等涉及到的問題。本文在綜合了WEB內(nèi)容計算的研究基礎上，重點研究并取得如下創(chuàng)新性成果： (1)提出了一種增量式

3、挖掘方法iFP-Growth，使傳統(tǒng)的FP-Growth方法適應于Web動態(tài)數(shù)據(jù)環(huán)境的關聯(lián)規(guī)則挖掘。 Web頁面數(shù)據(jù)的半結構化、不規(guī)則性和動態(tài)更新等特征，使得基于Web內(nèi)容的數(shù)據(jù)挖掘研究具有一定的復雜性。本文總結了多種從Web頁面中提取半結構化數(shù)據(jù)的理論與方法，針對Web內(nèi)容數(shù)據(jù)的特點，提出的增量式挖掘方法iFP-Growth，使傳統(tǒng)的FP-Growth方法適應于動態(tài)數(shù)據(jù)環(huán)境的關聯(lián)規(guī)則挖掘。并以中國汽車市場網(wǎng)為例，挖掘消費者對不

4、同類別、不同型號、不同價格轎車的購買偏好。 (2)提出一種基于句子相關度的文本自動分類模型TCSC) 針對中文WEB文檔集的分類和聚類等WEB信息檢索(IR)課題中需要進行中文分詞和詞的多義性問題，利用語料庫，提出了一種基于句子的文本特征選擇，利用訓練文本自動生成類別語料庫，根據(jù)句內(nèi)詞元的類別相關性和句子位置信息，給出了基于句子類別相關度矩陣的文本分類方法，從而在分類階段避免了分詞處理，同時該方法對于詞的多義性具有不敏感

5、性。 (3)給出了一種智能比較網(wǎng)站的結構和構建方法，并實現(xiàn)了一個農(nóng)產(chǎn)品價格比較站點，利用數(shù)據(jù)挖掘方法提供Web的智能服務。 本文分析了比較網(wǎng)站的結構、原理和實現(xiàn)的方法，提出一種特征向量距離算法用于ROI的自動定位和分割，利用HTML結構分析法建立HTML標記樹實現(xiàn)Web信息的提取。并依托國內(nèi)幾個主要的農(nóng)產(chǎn)品網(wǎng)站提供的價格信息，設計了一個農(nóng)產(chǎn)品價格比較站點，實現(xiàn)了信息的自動獲取、整合，并在此基礎上利用數(shù)據(jù)挖掘的方法提供更智