基于數(shù)據(jù)挖掘的Web信息檢索研究.pdf

1、Internet使人們獲取信息更加方便和快捷，但是由于網(wǎng)上的信息浩如煙海，并且不斷快速增長，而其中絕大多數(shù)對用戶來說是無關(guān)的，所以如何在網(wǎng)絡(luò)中找到自己所需的信息成了一個重要問題。搜索引擎是在一定程度上幫助人們解決這個問題，但是它并不能完全滿足用戶的需求。本文即是在此背景下，針對目前搜索引擎模型分析，提出一種新的搜索引擎模型，同時利用數(shù)據(jù)挖掘方法來解決網(wǎng)絡(luò)上某些信息檢索問題，內(nèi)容主要涉及到如何構(gòu)造合理的搜索引擎模型，如何有效的組織網(wǎng)絡(luò)資源

2、，如何發(fā)現(xiàn)網(wǎng)絡(luò)中蘊(yùn)涵的資源和如何對已經(jīng)得到的數(shù)據(jù)進(jìn)行維護(hù)等。本文的創(chuàng)造性研究成果主要有： (1) 在分析目前搜索引擎模型的基礎(chǔ)上，從模型的結(jié)構(gòu)角度提出一種新的搜索引擎模型(混合模型)，它能快速、準(zhǔn)確地發(fā)現(xiàn)用戶所需的信息，并分析實現(xiàn)該模型所需要的關(guān)鍵技術(shù)。 (2)根據(jù)Fisher判別方法的思想提出了一種有效的有監(jiān)督層次文檔分類算法(HDCF)，該算法主要將文檔按照主題進(jìn)行層次分類，利用Fisher線性判別式的思想來提取每一

3、類的正特征詞和負(fù)特征詞，然后根據(jù)這些特征詞對給定文檔進(jìn)行分類。該算法不僅克服一般層次分類算法中假定特征詞之間必須滿足獨立性的條件，而且能處理一個文檔涉及多個類的分類問題。在實驗中，采用召全率和準(zhǔn)確率2個指標(biāo)與其它算法進(jìn)行比較，實驗結(jié)果表明：HDCF 的效果好于其它算法。 (3)為了滿足在線學(xué)習(xí)文檔分類需要，本文根據(jù)自適應(yīng)諧振理論提出了半監(jiān)督學(xué)習(xí)自適應(yīng)諧振理論系統(tǒng)。在該系統(tǒng)中取消了一般半監(jiān)督學(xué)習(xí)算法中假定已知數(shù)據(jù)概率分布的條件限制

4、，利用自適應(yīng)諧振理論的穩(wěn)定性和可塑性，使其具有非常強(qiáng)的學(xué)習(xí)新模式和糾正錯誤能力。為了提高系統(tǒng)自適應(yīng)性能力，將警戒參數(shù)設(shè)置為動態(tài)變化。實驗結(jié)果表明半監(jiān)督學(xué)習(xí)自適應(yīng)諧振理論系統(tǒng)的性能優(yōu)于判別式CEM算法，特別是在含有噪音和新模式數(shù)據(jù)情況下，其優(yōu)勢更為明顯。 (4)針對已有的周期性關(guān)聯(lián)規(guī)則模型的局限性，提出一種新的周期性關(guān)聯(lián)規(guī)則模型。此模型通過聚類分析可以將一個周期分成若干個長度不等的時間段，并給出該算法，實驗結(jié)果表明這樣可以更準(zhǔn)確地

5、發(fā)現(xiàn)周期性關(guān)聯(lián)規(guī)則。同時，因為數(shù)據(jù)的稀疏性，在底層或原始的數(shù)據(jù)之間很難找到滿足用戶需求的周期性關(guān)聯(lián)規(guī)則，而有很多數(shù)據(jù)是分層，在較高層次上可以發(fā)現(xiàn)的周期性關(guān)聯(lián)規(guī)則，所以，又提出周期性一般關(guān)聯(lián)規(guī)則算法(CGI)。由于周期性一般關(guān)聯(lián)規(guī)則對數(shù)據(jù)噪聲非常敏感，用噪聲比來抑制數(shù)據(jù)噪聲對發(fā)現(xiàn)周期性一般關(guān)聯(lián)規(guī)則的影響。同時根據(jù)對周期性與一般頻繁項集之間關(guān)系的分析，利用周期裁剪技術(shù)來節(jié)省挖掘時間。本文中給出了CGI算法，同時還對發(fā)現(xiàn)規(guī)則的有意義性和冗余性

6、進(jìn)行判斷和處理。實驗證明，該算法可高效地發(fā)現(xiàn)周期性一般關(guān)聯(lián)規(guī)則。 (5)關(guān)聯(lián)規(guī)則是要從大量的數(shù)據(jù)中找到數(shù)據(jù)之間的規(guī)律，但有時所產(chǎn)生的規(guī)律十分繁多，從而形成新的知識管理問題。針對該問題本文提出了一個新的算法，該算法利用系統(tǒng)聚類分析方法對規(guī)則進(jìn)行分組，從而更好地幫助用戶理解所發(fā)現(xiàn)的規(guī)律，由于該方法的距離(RatioD)是基于關(guān)聯(lián)規(guī)則本身，因此，可對規(guī)則進(jìn)行高效地分組。實驗結(jié)果表明，該算法是有效的。 (6)對于維護(hù)已發(fā)現(xiàn)的序列

7、模式方法主要有兩種，一種是簡單地利用已有的挖掘序列模式算法對更新后的整個數(shù)據(jù)庫進(jìn)行操作，這種方法涉及數(shù)據(jù)庫中的數(shù)據(jù)不僅有改變的部分而且有未改變的部分，而未改變的數(shù)據(jù)數(shù)量很大，當(dāng)更新頻率高時，代價是非常大的；另一種方法是根據(jù)庫中記錄數(shù)目改變多少來決定何時對整個數(shù)據(jù)庫進(jìn)行操作，但是記錄數(shù)目變化大并不能代表序列模式變化也大，因此本文利用樣品抽樣的方法來評估序列模式改變的程度，并根據(jù)改變的程度決定何時對整個數(shù)據(jù)庫進(jìn)行操作來更新序列模式，從而較好