Apache火花™
自從它發布以來，Apache火花統一的分析引擎，已經被廣泛行業的企業迅速采用。Netflix、雅虎和eBay等互聯網巨頭已經大規模部署了Spark，在超過8000個節點的集群上共同處理數pb的數據。它已經迅速成為大數據領域最大的開源社區，擁有來自250多個組織的1000多名貢獻者。
Apache Spark是100%開源的，托管於獨立於供應商的Apache軟件基金會。在Databricks，我們完全致力於維護這種開放的開發模式。Databricks與Spark社區一起，通過開發和社區宣傳，繼續為Apache Spark項目做出巨大貢獻。
許多數據科學家、分析師和一般商業智能用戶依賴交互式SQL查詢來探索數據。Spark SQL是一個用於結構化數據處理的Spark模塊。它提供了一種名為DataFrames的編程抽象，還可以充當分布式SQL查詢引擎。它使未經修改的Hadoop Hive查詢在現有部署和數據上的運行速度提高了100倍。它還提供了與Spark生態係統其他部分的強大集成(例如，將SQL查詢處理與機器學習集成)。
許多應用程序不僅需要處理和分析批量數據，還需要實時處理和分析新數據流。Spark Streaming運行在Spark之上，支持跨流和曆史數據的強大交互和分析應用程序，同時繼承了Spark的易用性和容錯特性。它很容易與各種流行的數據源集成，包括HDFS、Flume、Kafka和Twitter。
機器學習已經迅速成為挖掘大數據以獲得可操作見解的關鍵部分。MLlib構建在Spark之上，是一個可擴展的機器學習庫，提供高質量的算法(例如，多次迭代以提高精度)和驚人的速度(比MapReduce快100倍)。該庫可作為Spark應用程序的一部分在Java、Scala和Python中使用，因此您可以將其包含在完整的工作流中。
GraphX是一個構建在Spark之上的圖計算引擎，使用戶能夠交互式地構建、轉換和推理大規模的圖結構數據。它配有一個通用算法庫。
Spark Core是Spark平台的底層通用執行引擎，所有其他功能都構建在其之上。Beplay体育安卓版本它提供了內存計算功能以提高速度，提供了支持各種應用程序的通用執行模型，以及簡化開發的Java、Scala和Python api。
Spark可以從自底向上的性能設計在大規模數據處理方麵，比Hadoop快100倍通過利用內存計算和其他優化。當數據存儲在磁盤上時，Spark的速度也很快，目前保持著大規模磁盤排序的世界紀錄。
Spark為大型數據集提供了易於使用的api。這包括用於轉換數據的超過100個操作符的集合，以及用於操作半結構化數據的熟悉的數據幀api。
Spark打包了更高級別的庫，包括對SQL查詢、流數據、機器學習和圖形處理的支持。這些標準庫提高了開發人員的工作效率，並且可以無縫地結合起來創建複雜的工作流。
