基于Hadoop的基礎(chǔ)教育資源的存儲和處理.pdf

1、基礎(chǔ)教育資源中蘊含了豐富的知識，研究如何從海量的基礎(chǔ)教育資源中獲取豐富的語義信息，構(gòu)建基礎(chǔ)教育知識圖譜，對擴展類人智能系統(tǒng)的知識庫以及提高其智能水平具有重要意義。為了構(gòu)建基礎(chǔ)教育知識圖譜，需要有海量的基礎(chǔ)教育資源數(shù)據(jù)作為支撐，因此構(gòu)建一個基礎(chǔ)教育資源數(shù)據(jù)庫是構(gòu)建基礎(chǔ)教育知識圖譜的基礎(chǔ)和關(guān)鍵。本文依托于863項目《面向基礎(chǔ)教育的類人智能知識理解與推理關(guān)鍵技術(shù)》（2015AA015403）主要圍繞基礎(chǔ)教育資源數(shù)據(jù)的獲取、存儲和處理這三個方面

2、進行了研究，其主要工作如下：
　　1）構(gòu)建了一個基礎(chǔ)教育資源數(shù)據(jù)庫。利用設(shè)計的基于Scrapy框架的簡單分布式網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)上獲取基礎(chǔ)教育資源數(shù)據(jù)，并在MapReduce框架中對獲取的基礎(chǔ)教育資源數(shù)據(jù)進行處理，最后將處理后的數(shù)據(jù)存入HBase數(shù)據(jù)庫中，構(gòu)建一個基礎(chǔ)教育資源數(shù)據(jù)庫。
　　2）提出了適合基礎(chǔ)教育資源在HDFS中的存儲方案?；A(chǔ)教育資源具有小文件特性且數(shù)量較多，不適合直接存儲到HDFS中。本文提出了一種適合這些資

3、源小文件存儲的存儲方案，該方案首先將這些資源文件在內(nèi)容上進行合并為較大文件，然后使用Sequence File技術(shù)將這些較大文件存儲到HDFS中。實驗結(jié)果表明，本文提出的存儲方案有利于節(jié)省存儲空間以及提高對這些基礎(chǔ)教育資源的處理效率。
　　3）改進了基于行塊分布函數(shù)的網(wǎng)頁正文提取算法?；谛袎K分布函數(shù)的網(wǎng)頁正文提取算法會錯誤地將網(wǎng)頁中包含的鏈接塊當作正文信息提取出來。針對這個問題，本文對該算法進行了改進。在提取正文信息的過程中，增