fourinone和hadoop的綜合對比

1、fourinone1.11.09hadoop0.21.0體積82K71M依賴關系就一個jar沒有依賴約12項jar包依賴配置就一個配置文件較多配置文件和復雜屬性集群搭建簡單，每臺機器放一個jar和配置文件復雜，需要linux操作基礎和ssh等復雜配置，還需要較多配置文件配置計算模式提供兩種計算模式：包工頭和工人直接交互方式，包工頭和工人通過消息中樞方式交互，后者不需要工人節(jié)點可直接訪問計算更多傾向于文件數(shù)據(jù)的并行讀取，而非計算過程的設計

2、。JobTracke跟TaskTracker直接交互，查詢NameNode后，TaskTracker直接從Datanode獲取數(shù)據(jù)。并行模式NN，支持單機并行，也支持多機并行，多機多實例并行1N，不支持單機并行，只支持多機單實例并行內(nèi)存方式支持內(nèi)存方式設計和開發(fā)應用，并內(nèi)置完整的分布式緩存功能以hdfs文件方式進行數(shù)據(jù)處理，內(nèi)存方式計算支持很弱文件方式自帶文件適配器處理ioHdfs處理文件io計算數(shù)據(jù)要求任意數(shù)據(jù)格式和任意數(shù)據(jù)來源，包括

3、來自數(shù)據(jù)庫，分布式文件，分布式緩存等Hdfs內(nèi)的文件數(shù)據(jù)，多傾向于帶換行符的數(shù)據(jù)調(diào)度角色包工頭，可以有多個，支持鏈式處理，也支持大包工頭對小包工頭的調(diào)度JobTracke，通常與NameNode一起任務執(zhí)行角色農(nóng)民工，框架支持設計多種類型的工人用于拆分或者合并任務TaskTracker，通常與Datanode一起中間結果數(shù)據(jù)保存手工倉庫，或者其他任意數(shù)據(jù)庫存儲設備Hdfs中間結果文件拆分策略自由設計，框架提供鏈式處理對于大的業(yè)務場景進行

4、環(huán)節(jié)拆分數(shù)據(jù)的存儲和計算拆分根據(jù)業(yè)務場景自定義以64m為拆分進行存儲，以行為拆分進行計算實現(xiàn)map接口，按行處理數(shù)據(jù)進行計算合并策略自由設計，框架提供農(nóng)民工節(jié)點之間的合并接口，可以互相交互設計合并策略，也可以通過包工頭進行合并TaskTracker不透明，較少提供程序控制，合并策略設計復雜實現(xiàn)reduce接口進行中間數(shù)據(jù)合并邏輯實現(xiàn)內(nèi)存耗用無需要制定JVM內(nèi)存，按默認即可，根據(jù)計算要求考慮是否增加JVM內(nèi)存需要制定JVM內(nèi)存，每個進程默

5、認1G，常常namenode，jobtracker等啟動3個進程，耗用3G內(nèi)存監(jiān)控框架提供多環(huán)節(jié)鏈式處理設計支持監(jiān)控過程，通過可編程的監(jiān)控輸出較多的系統(tǒng)監(jiān)控log，如map和reduce百分比等，但是Fourinone和hadoop運行wdcount的對比測試（平均4核4g配置，輸入數(shù)據(jù)為文件）：fourinone1.11.09(n4)fourinone1.11.09(n1)hadoop0.21.0(n1)3臺機器256M4s12s72

6、s3臺機器512M7s30s140s3臺機器1G14s50s279s19臺機器1G21s60s289s10臺機器2G29s5臺機器4G60sN4說明：Fourinone可以充分利用單機并行能力，4核計算機可以4個并行實例計算，hadoop目前只能N1；另外，可以由上圖看出，如果要完成20g的數(shù)據(jù)，實際上fourinone只需要使用5臺機器用60秒完成，比使用19臺機器完成19g的hadoop節(jié)省了14臺機器，并提前了200多秒方式，給于

7、業(yè)務開發(fā)方最大靈活的監(jiān)控需求實現(xiàn)，為追求高性能不輸出大量系統(tǒng)監(jiān)控log會犧牲性能，業(yè)務監(jiān)控需要自己實現(xiàn)打包部署腳本工具上傳jar包到jobtracker機器平臺支撐支持跨平臺，windows支持良好多傾向于支持linux，Windows支持不佳，需要模擬linux環(huán)境，并且建議只用于開發(fā)學習其他協(xié)同一致性、分布式緩存、通訊隊列等跟分布式計算關系密切的功能支持不支持總結：Hadoop并不是為了追求一個并行計算的框架而設計，提供快捷和靈活的