Web教學資源采集中超鏈接可采集度評價研究.pdf

1、隨著現(xiàn)代信息技術的高速發(fā)展，網(wǎng)絡已經(jīng)成為知識獲取與利用的重要途徑。網(wǎng)絡中的資源異常豐富，然而分布也十分廣泛，組織性很差。面對海量的網(wǎng)絡資源，如何快速、有效地獲取人們感興趣的主題資源成為知識獲取的一個重要問題。主題資源的自動獲取主要通過對網(wǎng)絡超鏈接的采集來實現(xiàn)，而主題資源獲取的關鍵問題之一就是對網(wǎng)絡中超鏈接是否采集的評價方法。
　　 本文設計了一個基于貝葉斯網(wǎng)絡的主題超鏈接評價系統(tǒng)，主要實現(xiàn)了在web教學資源獲取的過程中對超鏈接是

2、否采集進行評價，以指導網(wǎng)絡爬蟲進行有方向地爬行和采集。
　　 首先，本文介紹了web主題資源獲取的概念和意義，對主題資源采集的相關理論與技術進行了闡述和比較，對網(wǎng)絡主題資源的分布形態(tài)進行了探究，并重點分析了影響網(wǎng)絡超鏈接建立的影響因子。
　　 接著，本文介紹了貝葉斯網(wǎng)絡的基本概念、應用領域以及相關的理論與技術，并提出了基于貝葉斯網(wǎng)絡的web超鏈接評價方案。首先將網(wǎng)絡超鏈接的影響因子抽象化為貝葉斯網(wǎng)絡中的變量;然后經(jīng)過網(wǎng)絡

3、結構的學習、參數(shù)學習，建立起關于超鏈接可采集度評價的貝葉斯網(wǎng)絡;最后利用該網(wǎng)絡對新的超鏈接是否采集進行評價和預測。
　　 然后，針對Web主題資源采集中超鏈接的評價問題，根據(jù)實際情況選擇并改進了貝葉斯網(wǎng)絡構建過程中的方法與技術，通過將先驗知識與測試數(shù)據(jù)相結合，將二者的優(yōu)勢融合在一起，減少了計算量，提高了算法效率。
　　 最后，實現(xiàn)了基于貝葉斯網(wǎng)絡的超鏈接可采集度評價系統(tǒng)。從多個站點下載了5000多個超鏈接用于效果測試。實