@min史:
在磚,當您運行工作,你提交一個火花集群中的應用程序運行。默認使用的deploy-mode取決於您正在運行的工作類型:
交互式集群,deploy-mode客戶機。這意味著驅動程序運行在客戶端機器上,提交的那份工作。
對於工作的集群,deploy-mode集群。這意味著驅動程序運行在集群中的節點的一個工人。
注意,在磚時,您不需要顯式地指定deploy-mode當提交一份工作。相反,您可以簡單地使用spark-submit命令提供的磚:
磚的工作提交——jar < jar文件路徑>類<主類>,arg遊戲<參數>
當你運行這個命令,磚自動處理提交的細節引發應用程序集群和啟動驅動程序。
關於你的問題關於使用額外的類路徑提交一份工作時,您可以指定額外的類路徑使用——罐子和py-files磚spark-submit提供的選項。這裏有一個例子:
磚工作提交——jar < jar文件路徑>類<主類> - args <參數> - jar <以逗號分隔的罐子>——py-files <逗號分隔的Python文件列表>
——jar選項用於指定一個以逗號分隔的jar添加到類路徑中司機和執行者的jvm。同樣,——py-files選項用於指定一個以逗號分隔的Python文件添加到Python驅動程序和執行程序的過程。
@min史:
在磚,當您運行工作,你提交一個火花集群中的應用程序運行。默認使用的deploy-mode取決於您正在運行的工作類型:
交互式集群,deploy-mode客戶機。這意味著驅動程序運行在客戶端機器上,提交的那份工作。
對於工作的集群,deploy-mode集群。這意味著驅動程序運行在集群中的節點的一個工人。
注意,在磚時,您不需要顯式地指定deploy-mode當提交一份工作。相反,您可以簡單地使用spark-submit命令提供的磚:
磚的工作提交——jar < jar文件路徑>類<主類>,arg遊戲<參數>
當你運行這個命令,磚自動處理提交的細節引發應用程序集群和啟動驅動程序。
關於你的問題關於使用額外的類路徑提交一份工作時,您可以指定額外的類路徑使用——罐子和py-files磚spark-submit提供的選項。這裏有一個例子:
磚工作提交——jar < jar文件路徑>類<主類> - args <參數> - jar <以逗號分隔的罐子>——py-files <逗號分隔的Python文件列表>
——jar選項用於指定一個以逗號分隔的jar添加到類路徑中司機和執行者的jvm。同樣,——py-files選項用於指定一個以逗號分隔的Python文件添加到Python驅動程序和執行程序的過程。