我相信你和我一樣讀過(guò)這篇文章，對(duì)Hadoop和ApacheSPark的選擇有一些疑問(wèn)。在今天查閱了大量的信息之后，讓我們來(lái)談?wù)勥@兩個(gè)平臺(tái)的比較和選擇，看看哪一個(gè)更適合工作和發(fā)展。

大數(shù)據(jù)：Hadoop還是Spark？

一、Hadoop與Spark

1.Spark

SMACK是一個(gè)快速通用的集群計(jì)算平臺(tái)。在速度方面，Spark擴(kuò)展了廣泛使用的MapReduce計(jì)算模型，有效地支持更多的計(jì)算模型，包括交互式查詢和流處理。

星火項(xiàng)目包含許多緊密集成的組件。spark的核心是一個(gè)計(jì)算引擎，它調(diào)度、分發(fā)和監(jiān)視由多臺(tái)工作機(jī)器或計(jì)算集群上運(yùn)行的許多計(jì)算任務(wù)組成的應(yīng)用程序。

2.Hadoop

Hadoop是ApacheFoundation開發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序。充分利用集群的功率進(jìn)行高速運(yùn)行和存儲(chǔ).Hadoop框架的核心設(shè)計(jì)是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲(chǔ)，而MapReduce則為海量數(shù)據(jù)提供計(jì)算。

二、異與同

解決問(wèn)題的層面不一樣

首先，Hadoop和ApacheSirk都是大數(shù)據(jù)框架，但它們的存在有著不同的目的。Hadoop本質(zhì)上是一種分布式數(shù)據(jù)基礎(chǔ)設(shè)施：它將龐大的數(shù)據(jù)集分發(fā)到一個(gè)普通計(jì)算機(jī)集群中的多個(gè)節(jié)點(diǎn)，這意味著您不需要購(gòu)買和維護(hù)昂貴的服務(wù)器硬件。同時(shí)，Hadoop將對(duì)這些數(shù)據(jù)進(jìn)行索引和跟蹤，使大型數(shù)據(jù)的處理和分析效率達(dá)到了前所未有的高水平。火花，是一種用來(lái)處理大數(shù)據(jù)的分布式存儲(chǔ)，它不存儲(chǔ)分布式數(shù)據(jù)。

兩者可合可分

Hadoop提供了一個(gè)名為mapreduce的數(shù)據(jù)處理函數(shù)，以及我們都同意的HDFS分布式數(shù)據(jù)存儲(chǔ)函數(shù)。因此，我們可以單獨(dú)使用SPark，并使用Hadoop自己的MapReduce來(lái)處理數(shù)據(jù)。

相反，星火并不一定要附在Hadoop上才能生存。但如上所述，它畢竟沒(méi)有提供文件管理系統(tǒng)，因此必須與其他分布式文件系統(tǒng)集成才能工作。在這里，我們可以選擇Hadoop的HDF或其他基于云的數(shù)據(jù)系統(tǒng)平臺(tái)。但是SPark在默認(rèn)情況下仍然是在Hadoop上使用的，畢竟，每個(gè)人都認(rèn)為他們的組合是最好的。

順便說(shuō)一句，什么是MapReduce：我們需要清點(diǎn)圖書館里所有的書。你數(shù)書架1，我數(shù)書架2。這是地圖。我們擁有的人越多，我們就越快地?cái)?shù)書?，F(xiàn)在讓我們一起匯總所有的統(tǒng)計(jì)數(shù)據(jù)。這是減少。

火花數(shù)據(jù)處理速度輕松擊敗MapReduce

Spark比MapReduce快得多，因?yàn)樗幚頂?shù)據(jù)的方式不同。MapReduce通過(guò)步驟來(lái)處理數(shù)據(jù)步驟："從集群中讀取數(shù)據(jù)，處理一次，將結(jié)果寫入集群，從集群中讀取更新后的數(shù)據(jù)，處理下一次，將結(jié)果寫入集群等。"BoozAllenHamilton的數(shù)據(jù)科學(xué)家Kirk Borne像這樣解析數(shù)據(jù)。

另一方面，Spark將在接近“實(shí)時(shí)”的時(shí)間內(nèi)完成內(nèi)存中的所有數(shù)據(jù)分析：“從集群中讀取數(shù)據(jù)，完成所有必要的分析和處理，將結(jié)果寫回集群，完成它，”Born說(shuō)。SPark的批處理速度比MapReduce快近10倍，內(nèi)存中數(shù)據(jù)分析的速度快近100倍。如果需要處理的數(shù)據(jù)和結(jié)果要求大部分是靜態(tài)的，并且您有耐心等待批處理完成，那么MapReduce是完全可以接受的。

但是，如果需要對(duì)對(duì)流數(shù)據(jù)進(jìn)行分析，例如由工廠傳感器收集的數(shù)據(jù)，或者如果應(yīng)用程序需要多個(gè)數(shù)據(jù)處理，則可能需要使用火花進(jìn)行處理。大多數(shù)機(jī)器學(xué)習(xí)算法需要多個(gè)數(shù)據(jù)處理。此外，通常會(huì)用到Spark的應(yīng)用場(chǎng)景有以下方面：實(shí)時(shí)的市場(chǎng)活動(dòng)，在線產(chǎn)品推薦，網(wǎng)絡(luò)安全分析，機(jī)器日記監(jiān)控等。

Recovery 恢復(fù)

災(zāi)難恢復(fù)的兩種方法是完全不同的，但是它們是非常好的。因?yàn)镠adoop將處理過(guò)的數(shù)據(jù)寫入磁盤，所以它天生就能夠抵御系統(tǒng)錯(cuò)誤。Spark的數(shù)據(jù)對(duì)象存儲(chǔ)在稱為彈性分布式數(shù)據(jù)集的數(shù)據(jù)集群中?！斑@些數(shù)據(jù)對(duì)象可以放在內(nèi)存或磁盤中，因此RDD還可以提供完整的災(zāi)難恢復(fù)功能?！?/div>