分布式JS解析系統(tǒng)的設(shè)計與構(gòu)建.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)頁的頁面視圖效果越來越美觀，使用的頁面編程技術(shù)也不僅僅局限于HTML、CSS等靜態(tài)語言。以JavaScript為代表的動態(tài)腳本由于其功能強大，使界面觀賞程度高等優(yōu)勢越來越受到開發(fā)者和用戶的青睞。但是由于其編寫復(fù)雜程度比傳統(tǒng)的靜態(tài)網(wǎng)頁技術(shù)高，所以在搜索引擎、輿論分析等領(lǐng)域進行網(wǎng)頁內(nèi)容抓取和分析的時候，很難對JavaScript中包含的信息進行解析。所以本論文在設(shè)計并構(gòu)建能夠高效解析網(wǎng)頁中JavaScript的分

2、布式系統(tǒng)時，能夠完成對存在于HTML文檔中的JavaScript片段進行高效的提取和分布式解析的功能，并且在分布式計算機集群中合理的進行任務(wù)調(diào)度。
　　該論文主要包括兩個研究方向:首先是對網(wǎng)頁中存在的JavaScript進行有效的提取和解析;然后結(jié)合Hadoop分布式計算技術(shù)，在深入分析現(xiàn)有任務(wù)調(diào)度算法、結(jié)合本系統(tǒng)實際情況的基礎(chǔ)之上，設(shè)計本系統(tǒng)在分布式計算環(huán)境中的任務(wù)調(diào)度算法，合理的進行JavaScript解析任務(wù)調(diào)度，實現(xiàn)對頁面

3、中包含的JavaScript片段的高效解析。通過對JavaScript語法規(guī)則和其在網(wǎng)頁中的存在形式的研究，設(shè)計了JavaScript的提取流程和算法，然后借鑒瀏覽器解析JavaScript的方法，使用JavaScript解析引擎，構(gòu)造JavaScript解析環(huán)境來實現(xiàn)第一模塊。通過對現(xiàn)有Map/Reduce任務(wù)調(diào)度算法的研究、分析和對比，并結(jié)合JavaScript解析任務(wù)的具體特點和分布式集群的環(huán)境，探究最適合本系統(tǒng)的Map/Redu

4、ce任務(wù)調(diào)度算法。對JavaScript解析任務(wù)進行合理調(diào)度，然后搭建計算機集群，對設(shè)計的分布式JavaScript解析系統(tǒng)進行構(gòu)建。最后對分布式JS解析系統(tǒng)進行測試，對其應(yīng)用性能和解析準(zhǔn)確性進行驗證，并且總結(jié)系統(tǒng)的不足，提出后續(xù)改進意見。
　　本文實現(xiàn)的分布式系統(tǒng)能夠?qū)W(wǎng)頁中存在的大量JavaScript進行高效、快速的解析。實驗結(jié)果表明，本系統(tǒng)能夠?qū)W(wǎng)頁中JavaScript片段內(nèi)包含的文本文字和超鏈接內(nèi)容進行高效、準(zhǔn)確的提取