基于Hadoop的圖書采集與存儲應(yīng)用系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，Web2.0模式在互聯(lián)網(wǎng)世界異軍突起，用戶的角色不再是單一的網(wǎng)頁瀏覽者，同時也是網(wǎng)絡(luò)內(nèi)容的制造者。隨著網(wǎng)絡(luò)社交越來越深入到用戶的生活中，國內(nèi)外各種社交網(wǎng)絡(luò)平臺相繼出現(xiàn)，而在圖書領(lǐng)域尚未出現(xiàn)成熟的以圖書為紐帶的社交網(wǎng)絡(luò)平臺。
　　目前，構(gòu)建一個圖書閱讀與管理社交平臺面臨諸多困難和挑戰(zhàn)。首先，圖書數(shù)據(jù)量和數(shù)據(jù)種類繁多，網(wǎng)絡(luò)中的圖書信息良莠不齊，需要采取一種高效的方法從網(wǎng)絡(luò)中爬取圖書信息，并對圖書信息進(jìn)行整合歸

2、類。其次，圖書基本信息和圖書評論信息的數(shù)據(jù)存儲量巨大，如何存儲龐大的數(shù)據(jù)量并保證數(shù)據(jù)的存取速度和系統(tǒng)的可擴展性是值得深入研究的問題。最后，如何構(gòu)建基于圖書的社交平臺，使用戶以圖書為紐帶建立自己的圖書社交圈成為系統(tǒng)實現(xiàn)的關(guān)鍵一環(huán)。
　　本文設(shè)計并實現(xiàn)了基于Hadoop的圖書采集與存儲應(yīng)用系統(tǒng)，為圖書閱讀與管理社交平臺提供數(shù)據(jù)基礎(chǔ)和后臺支持。已完成的主要工作如下：
　?。?）在圖書采集方面，深入研究網(wǎng)絡(luò)爬蟲技術(shù)的理論基礎(chǔ)，對于圖

3、書采集的URL結(jié)構(gòu)、網(wǎng)頁去噪、圖書信息采集規(guī)則、數(shù)據(jù)清洗、圖書信息抽取執(zhí)行、圖書進(jìn)行整合等多個環(huán)節(jié)進(jìn)行了設(shè)計和實現(xiàn)。
　　（2）在圖書管理方面，構(gòu)建基于Hadoop的分布式文件系統(tǒng)HDFS，用來管理數(shù)據(jù)量龐大的圖書基本信息和書籍評論信息。在研究理解Hadoop平臺理論知識的前提下，構(gòu)建Hadoop集群環(huán)境，并設(shè)計、實現(xiàn)了分布式存儲圖書信息和評論信息的功能。
　?。?）在圖書社交方面，在對用戶的需求進(jìn)行前期調(diào)研和分析的基礎(chǔ)上，