網(wǎng)絡Flash資源爬行器的設計與實現(xiàn).pdf

1、隨著因特網(wǎng)的迅速發(fā)展，網(wǎng)絡已經(jīng)成為人們獲得信息的必要途徑和重要手段，而其中Flash動畫媒體類型的資源建設作為教育技術領域的一個重要組成部分日益受到人們的重視。Flash資源以其生動、直觀和易于交互等優(yōu)點在推動教育發(fā)展中發(fā)揮了重要作用，一方面，互聯(lián)網(wǎng)技術的發(fā)展使得這些Flash資源的發(fā)布與共享不再受時間、空間的限制，成為獲取這些資源的一個重要途徑；另一方面，網(wǎng)絡資源的巨大豐富且動態(tài)更新卻又從中尋找需要的Flash資源變得越來越困難。

2、r>　　網(wǎng)絡搜索引擎的出現(xiàn)基本上解決了這個問題，使它迅速成為除電子郵件之外最常用的網(wǎng)絡工具。根據(jù)CNNIC發(fā)布的《第26次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》，截至2010年6月，中國網(wǎng)民達到了4.2億，互聯(lián)網(wǎng)普及率攀升至31.8％，中國網(wǎng)站數(shù)量為279萬個。2010年上半年，搜索引擎在網(wǎng)民中的使用率增長了3個百分點，達76.3％，搜索引擎用戶規(guī)模已達3.2億人，增幅達13.9％，這使得傳統(tǒng)的通用搜索引擎面對巨大挑戰(zhàn)。根據(jù)《2010年中國搜索

3、引擎市場調(diào)查報告》顯示:在任意一天，約有58。8％用戶會使用搜索引擎。為了適應特定用戶對特定領域查詢的需求，各類面向特定主題、信息分類精確、數(shù)據(jù)全面、更新及時的搜索引擎便應運而生并蓬勃發(fā)展起來。
　　網(wǎng)絡Flash爬行器是專門為查詢和搜索Web中存在的Flash媒體資源而設計的搜索系統(tǒng)。爬行系統(tǒng)從Web網(wǎng)頁的網(wǎng)頁信息中，高效準確的提取出對Flash動畫資源的相關描述，其檢索的對象是Flash媒體信息。網(wǎng)絡當中包含有大量的Flash

4、動畫形式的教育教學資源，從這種海量、異構(gòu)、動態(tài)變化的網(wǎng)絡中搜索到可以為教育教學服務的Flash動畫形式的教育資源，本文立題正在于此，就是要設計與實現(xiàn)一種網(wǎng)絡爬行器，根據(jù)包含F(xiàn)lash媒體的網(wǎng)頁在互聯(lián)網(wǎng)上分布的特征，通過一定的算法在盡可能少的耗費計算機資源的情況下快速地搜索到包含有Flash媒體的網(wǎng)頁，從Flash資源所在的網(wǎng)頁中提取出Flash媒體資源，再從這些素材資源中提取出用于描述、標引Flash媒體資源的語義信息，從而確定Flas

5、h媒體資源的主題。將此方法應用到基礎教育資源中，這對于學習環(huán)境的構(gòu)建、教育資源信息化的建設具有重要的意義。
　　本文首先對HTML文檔的文本信息和標簽做了介紹，然后包含F(xiàn)lash資源的網(wǎng)頁及其主題頁面在Web中的分布特征進行深入分析。在分析和比較現(xiàn)有的Flash資源主題搜索算法的優(yōu)缺點的基礎上，歸納了提高搜索效率的幾個關鍵因素。網(wǎng)絡Flash資源爬行器可以作為Flash資源搜索引擎系統(tǒng)的核心組成部分，其負責網(wǎng)絡Flash資源的發(fā)現(xiàn)

6、與搜集；搜索算法是搜索系統(tǒng)的關鍵技術，它決定了搜索系統(tǒng)的查準率和查全率；Flash種子搜索原則一般選擇網(wǎng)站規(guī)模大、所包含F(xiàn)lash數(shù)據(jù)多、爬行速度快、網(wǎng)頁結(jié)構(gòu)合理、搜索效率高的網(wǎng)站作為網(wǎng)絡爬行器的種子。
　　本文在原有的搜索系統(tǒng)基礎上，對搜索系統(tǒng)的效率和速度進行深入地研究和改進，并對所搜索到的Flash媒體網(wǎng)頁集合進行必要的消重化處理，利用網(wǎng)頁內(nèi)容消重和鏈接消重達到凈化多媒體網(wǎng)頁集合的目的，使得到的Flash媒體資源更加優(yōu)化，可以