取消
顯示的結果
而不是尋找
你的意思是:

模式是什麼deploy-mode當調用在磚/火花

source2sea
新的貢獻者三世

https://spark.apache.org/docs/latest/submitting-applications.html

主要是想知道是否可以使用額外的類路徑,當我提交作業

1接受解決方案

接受的解決方案

匿名
不適用

@min史:

在磚,當您運行工作,你提交一個火花集群中的應用程序運行。默認使用的deploy-mode取決於您正在運行的工作類型:

交互式集群,deploy-mode客戶機。這意味著驅動程序運行在客戶端機器上,提交的那份工作。

對於工作的集群,deploy-mode集群。這意味著驅動程序運行在集群中的節點的一個工人。

注意,在磚時,您不需要顯式地指定deploy-mode當提交一份工作。相反,您可以簡單地使用spark-submit命令提供的磚:

磚的工作提交——jar < jar文件路徑>類<主類>,arg遊戲<參數>

當你運行這個命令,磚自動處理提交的細節引發應用程序集群和啟動驅動程序。

關於你的問題關於使用額外的類路徑提交一份工作時,您可以指定額外的類路徑使用——罐子和py-files磚spark-submit提供的選項。這裏有一個例子:

磚工作提交——jar < jar文件路徑>類<主類> - args <參數> - jar <以逗號分隔的罐子>——py-files <逗號分隔的Python文件列表>

——jar選項用於指定一個以逗號分隔的jar添加到類路徑中司機和執行者的jvm。同樣,——py-files選項用於指定一個以逗號分隔的Python文件添加到Python驅動程序和執行程序的過程。

在原帖子查看解決方案

1回複1

匿名
不適用

@min史:

在磚,當您運行工作,你提交一個火花集群中的應用程序運行。默認使用的deploy-mode取決於您正在運行的工作類型:

交互式集群,deploy-mode客戶機。這意味著驅動程序運行在客戶端機器上,提交的那份工作。

對於工作的集群,deploy-mode集群。這意味著驅動程序運行在集群中的節點的一個工人。

注意,在磚時,您不需要顯式地指定deploy-mode當提交一份工作。相反,您可以簡單地使用spark-submit命令提供的磚:

磚的工作提交——jar < jar文件路徑>類<主類>,arg遊戲<參數>

當你運行這個命令,磚自動處理提交的細節引發應用程序集群和啟動驅動程序。

關於你的問題關於使用額外的類路徑提交一份工作時,您可以指定額外的類路徑使用——罐子和py-files磚spark-submit提供的選項。這裏有一個例子:

磚工作提交——jar < jar文件路徑>類<主類> - args <參數> - jar <以逗號分隔的罐子>——py-files <逗號分隔的Python文件列表>

——jar選項用於指定一個以逗號分隔的jar添加到類路徑中司機和執行者的jvm。同樣,——py-files選項用於指定一個以逗號分隔的Python文件添加到Python驅動程序和執行程序的過程。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map