hadoop hbase 使用指南

1、第1章集群的搭建集群的搭建1.1集群的結(jié)構(gòu)集群的結(jié)構(gòu)實(shí)驗(yàn)環(huán)境中共有6臺(tái)服務(wù)器，搭建完全分布式HDFS與HBase環(huán)境，采用的Hadoop與HBase版本為hadoop0.20.2HBase0.92.0，其中一臺(tái)節(jié)點(diǎn)做為NameNode和Master，另一臺(tái)做為Master備份節(jié)點(diǎn)（可以不要備份Master節(jié)點(diǎn)），剩余四臺(tái)則做為DataNode和RegionServer節(jié)點(diǎn)，并且在其上運(yùn)行Zookeeper服務(wù)，整個(gè)實(shí)驗(yàn)環(huán)境結(jié)構(gòu)如圖31所

2、示。DataNode集群運(yùn)行RegionServer和ZookeeperMaster熱備份主備圖11HBase集群結(jié)構(gòu)1.2基礎(chǔ)環(huán)境基礎(chǔ)環(huán)境整個(gè)系統(tǒng)要能正常的運(yùn)行，在各機(jī)器上安裝需要的程序軟件之前，也要正確的配置好網(wǎng)絡(luò)連接、程序參數(shù)和系統(tǒng)設(shè)置等，主要包括：操作系統(tǒng)Ubuntu10.04、sunjava6和OpenSSH。分別在每臺(tái)服務(wù)器上安裝上述的系統(tǒng)和程序，過程中要注意：根據(jù)Hadoop和HBase的系統(tǒng)兼容性要求Linux系統(tǒng)的版本

3、可以不一致，不影響HDFS和HBase的運(yùn)行。JDK的版本、安裝位置和環(huán)境變量的設(shè)置都應(yīng)保持一致。OpenSSH要設(shè)置為無密碼訪問，確保各服務(wù)器之間能正常通信。各服務(wù)器配置如表31所示。1.3.1.2SSH配置。該配置主要是為了實(shí)現(xiàn)在機(jī)器之間執(zhí)行指令時(shí)不需要輸入密碼。在所有機(jī)器上建立.ssh目錄，執(zhí)行：$mkdir.ssh在ubuntunamenode上生成密鑰對(duì)，執(zhí)行：$sshkeygentrsa然后一直按鍵，就會(huì)按照默認(rèn)的選項(xiàng)將生成

4、的密鑰對(duì)保存在.sshid_rsa文件中。接著執(zhí)行如下命令：$cd~.ssh$cpid_rsa.pubauthized_keys$scpauthized_keysubuntudata1:homegrid.ssh$scpauthized_keysubuntudata2:homegrid.ssh最后進(jìn)入所有機(jī)器的.ssh目錄，改變authized_keys文件的許可權(quán)限：$chmod644authized_keys這時(shí)從ubuntuname

5、node向其他機(jī)器發(fā)起SSH連接，只有在第一次登錄時(shí)需要輸入密碼，以后則不再需要。1.3.2JDK安裝實(shí)驗(yàn)使用jdk6u24linuxx86.bin，軟件放在共享文件夾下。把Java安裝到目錄usrjavajdk1.6.0_24，使用如下命令：$cdusrjava$mnthgfssharejdk6u24linuxx86.bin1.3.2.1JDK設(shè)置編輯系統(tǒng)文件etcprofile，在文件最后添加JDK的環(huán)境變量。#setjavaenv