純情的MIS

Hortonworks是一套由Yahoo為主要營運者的Hadoop發行版公司，發展初期比較受人矚目的地方為宣布跟Microsoft合作，開發運行於Windows Server的Hadoop發行版，於2013年發布HDP（Hortonworks Data Platform）Windows版。

2016年三月發佈的HDP 2.4為最後一個支援Windows的版本，留下使用HDP元件的雲端服務Microsoft Azure HDInsight。

Cloudera是一間專門製作Hadoop發行版的公司，由來自Facebook的Jeff Hammerbacher、Google的Christophe Bisciglia、Yahoo的Amr Awadallah三位前工程師以及Oracle前高階主管Mike Olson於2008年所創建。

Cloudera針對Apache基金會所發布的Hadoop進行程式碼補強以符合其開發的產品。修改過的版本命名為CDH（Cloudera’s Distribution Including Apache Hadoop），目的為提供一個穩定、相容於其他Apache專案的版本運作於生產環境。

Apache基金會發布的Hadoop套件使用Apache授權2.0，只要滿足其條件，任何開發商都可以對Apache授權的軟體進行修改、重製，並且不限制其衍生軟體遵循同樣的授權方式，但必須保留來源作品的所有版權、專利、商標與歸屬宣告（NOTICE），可以選擇自由軟體授權或商業授權。

然而，大多數商業授權都是由開發商自行訂定，不一定會公開自行研發或修補的原始碼回饋至開放原始碼社群。因此這種授權方式對開發商最為有利，可以將軟體閉源私有化，保留Apache軟體進行商業活動。

Spark屬於叢集運算框架的一種，與MapReduce執行完後將中介資料儲存在磁碟不同，Spark主要使用記憶體內運算技術，在資料寫入磁碟之前就先在記憶體進行分析運算，現行記憶體內傳輸速度與磁碟比較起來差異非常大，可以大幅度的超越MapReduce在磁碟內的運算速度，若有需求也可以在磁碟中執行，其低延遲的特性可以擁有更好的效率。

支援的語言相當多樣化如︰Java、Scala、Python、R。可以允許開發者選擇自己熟悉的環境下進行工作，當建立在Hadoop叢集中，可以選擇獨立模式（standalone）或是透過Yarn來管理任務。

MapReduce是一種編程模型，基於此模型開發的程序可以使用在商用機器所組成的叢集中，支援Java、C++、Perl、Python、PHP、Ruby…等開發語言，以可容錯的的形式處理TB等級的資料，執行Mapreduce工作時會先把資料切為若干的資料塊，藉由Mapper處理這些切割的資料且平行計算，此框架會針對Mapper的輸出作先後排序，最後將結果傳送給Reducer，通常這些作業都儲存在HDFS系統中，該框架負責任務的調度與監控，如下圖所示。

Hadoop分散式檔案系統（HDFS）是一個目標在商用硬體上運作的分散式檔案系統，擁有高容錯性且適合部屬在較廉價的硬體上，以下擷取其特點︰

        Hadoop最初是來自於Apache Lucene的子項目之一︰Apache Nutch所發展出來，但當時的系統架構並沒有將大量網路爬蟲所尋找到的頁面內容或索引提供一個較好的儲存方案，Google於2003年發布的”The Google File System”為Apache Nutch提供了很大的幫助，在2004年Apache Nutch的分散式檔案系統（Nutch Distributed File System,NDFS）開始開發，同一年Google所發布的MapReduce軟體架構，造就了Apache Nutch開發MapReduce架構並整合其分散式檔案系統用以解決網頁搜尋的效率。

創始人Doug Cutting於2006年將其命名為Hadoop，同一年Apache基金會將其成為一個項目獨立出來。