火花的應用程序

火花由一個應用程序司機過程和一組遺囑執行人流程。司機流程運行main()函數,坐在集群中的一個節點,並負責三件事:維護信息引發程序;響應用戶的程序或輸入;和分析、分配和調度工作執行人(暫時定義)。司機過程是絕對必要的,這是火花的核心應用程序和維護所有相關信息在應用程序的生命周期。的執行人負責實際執行駕駛員的工作分配。這意味著,每個執行者負責隻有兩件事:執行代碼分配給它的驅動程序和報告的狀態計算,遺囑執行人,回到司機節點。

集群管理器控製物理機器和分配資源引發的應用程序。這可能是一個核心集群經理:火花的獨立集群管理器,紗,或者便。這意味著可以有多個火花集群上運行的應用程序在同一時間。我們將更深入討論集群經理在第四部分:這本書的生產應用程序。在前麵的例子我們看到在左邊,我們的司機和右邊的四個執行人在右邊。在這個圖中,我們刪除集群節點的概念。用戶可以指定有多少執行人應落在每個節點通過配置。(glossary-cta)