中俄經(jīng)貿(mào)合作網(wǎng)個性化服務(wù)的數(shù)據(jù)預(yù)處理研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，Web中提供的信息越來越豐富，但是Web站點及信息數(shù)目的增多，導(dǎo)致用戶尋找信息困難，這就促進(jìn)了提供一對一服務(wù)的個性化服務(wù)系統(tǒng)的出現(xiàn)。個性化服務(wù)的實現(xiàn)需要借助Web數(shù)據(jù)挖掘技術(shù)。一般來說，Web挖掘分為四個子任務(wù)：資源搜索、數(shù)據(jù)預(yù)處理、模式發(fā)現(xiàn)和模式分析。預(yù)處理是Web挖掘任務(wù)的一個重要階段，也是工作量較大的一部分，數(shù)據(jù)預(yù)處理的質(zhì)量直接關(guān)系到數(shù)據(jù)挖掘結(jié)果的好壞。Web挖掘的針對性強(qiáng)，對于不同領(lǐng)域，數(shù)據(jù)預(yù)處理、模式發(fā)現(xiàn)和模

2、式分析等過程的處理也不完全相同。 目前，具體到針對個性化服務(wù)的數(shù)據(jù)預(yù)處理研究方面，研究大都停留在對啟發(fā)式規(guī)則的簡單應(yīng)用，而沒有結(jié)合相關(guān)的領(lǐng)域知識。尤其是在會話識別中，一般根據(jù)設(shè)定的閾值進(jìn)行“一刀切”式的處理，會話識別的精度不高，從而影響了后續(xù)對用戶訪問習(xí)慣的挖掘。 本文著重對個性化服務(wù)所基于的Web數(shù)據(jù)挖掘技術(shù)中的數(shù)據(jù)預(yù)處理過程進(jìn)行研究。在研究過程中以中俄經(jīng)貿(mào)合作網(wǎng)個性化服務(wù)所需的Web挖掘數(shù)據(jù)形式為目標(biāo)，通過改進(jìn)現(xiàn)有的

3、啟發(fā)式規(guī)則，進(jìn)行系統(tǒng)建模、數(shù)據(jù)結(jié)構(gòu)設(shè)計、程序流程設(shè)計等，使用編程語言最終實現(xiàn)了一套Web日志數(shù)據(jù)預(yù)處理系統(tǒng)。該系統(tǒng)將數(shù)據(jù)預(yù)處理的過程一數(shù)據(jù)清洗、用戶識別、會話識別等功能封裝起來，增加了數(shù)據(jù)預(yù)處理過程的可重用性，使得在進(jìn)行進(jìn)一步個性化研究時更加快捷、方便。同時，在SQL SERVER形成了一個可供進(jìn)一步進(jìn)行個性化服務(wù)研究的數(shù)據(jù)挖掘庫。 在如何能高效地應(yīng)對更大數(shù)據(jù)量下的日志處理，如何在不影響效率的前提下更加精確地識別用戶和會話，以及