(新)尚硅谷大數(shù)據(jù)技術(shù)之Hadoop(入門)第2章 從Hadoop框架討論大數(shù)據(jù)生態(tài)

2.1 Hadoop是什么

2.2 Hadoop發(fā)展歷史

 

2.3 Hadoop三大發(fā)行版本

Hadoop三大發(fā)行版本:Apache、Cloudera、Hortonworks。

Apache版本最原始(最基礎(chǔ))的版本,對于入門學(xué)習(xí)最好。

Cloudera在大型互聯(lián)網(wǎng)企業(yè)中用的較多。

Hortonworks文檔較好。

  1. Apache Hadoop

官網(wǎng)地址:http://hadoop.apache.org/releases.html

下載地址:https://archive.apache.org/dist/hadoop/common/

  1. Cloudera Hadoop

官網(wǎng)地址:https://www.cloudera.com/downloads/cdh/5-10-0.html

下載地址:http://archive-primary.cloudera.com/cdh5/cdh/5/

(1)2008年成立的Cloudera是最早將Hadoop商用的公司,為合作伙伴提供Hadoop的商用解決方案,主要是包括支持、咨詢服務(wù)、培訓(xùn)。

(2)2009年Hadoop的創(chuàng)始人Doug Cutting也加盟Cloudera公司。Cloudera產(chǎn)品主要為CDH,Cloudera Manager,Cloudera Support

(3)CDH是Cloudera的Hadoop發(fā)行版,完全開源,比Apache Hadoop在兼容性,安全性,穩(wěn)定性上有所增強。

(4)Cloudera Manager是集群的軟件分發(fā)及管理監(jiān)控平臺,可以在幾個小時內(nèi)部署好一個Hadoop集群,并對集群的節(jié)點及服務(wù)進(jìn)行實時監(jiān)控。Cloudera Support即是對Hadoop的技術(shù)支持。

(5)Cloudera的標(biāo)價為每年每個節(jié)點4000美元。Cloudera開發(fā)并貢獻(xiàn)了可實時處理大數(shù)據(jù)的Impala項目。

  1. Hortonworks Hadoop

官網(wǎng)地址:https://hortonworks.com/products/data-center/hdp/

下載地址:https://hortonworks.com/downloads/#data-platform

(1)2011年成立的Hortonworks是雅虎與硅谷風(fēng)投公司Benchmark Capital合資組建。

(2)公司成立之初就吸納了大約25名至30名專門研究Hadoop的雅虎工程師,上述工程師均在2005年開始協(xié)助雅虎開發(fā)Hadoop,貢獻(xiàn)了Hadoop80%的代碼。

(3)雅虎工程副總裁、雅虎Hadoop開發(fā)團(tuán)隊負(fù)責(zé)人Eric Baldeschwieler出任Hortonworks的首席執(zhí)行官。

(4)Hortonworks的主打產(chǎn)品是Hortonworks Data Platform(HDP),也同樣是100%開源的產(chǎn)品,HDP除常見的項目外還包括了Ambari,一款開源的安裝和管理系統(tǒng)。

(5)HCatalog,一個元數(shù)據(jù)管理系統(tǒng),HCatalog現(xiàn)已集成到Facebook開源的Hive中。Hortonworks的Stinger開創(chuàng)性的極大的優(yōu)化了Hive項目。Hortonworks為入門提供了一個非常好的,易于使用的沙盒。

(6)Hortonworks開發(fā)了很多增強特性并提交至核心主干,這使得Apache Hadoop能夠在包括Window Server和Windows Azure在內(nèi)的Microsoft Windows平臺上本地運行。定價以集群為基礎(chǔ),每10個節(jié)點每年為12500美元。