取消
顯示的結果
而不是尋找
你的意思是:

如何確定或決定將多少就業崗位如果我提交代碼

Sagar1
新的貢獻者三世

我不能夠找到一個源,它解釋了如何確定多少工作一塊寫的pyspark代碼將觸發。你能幫助我。對階段我知道打亂的數量等於階段的數量。

3回複3

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@sagar Varma,你的工作可以由單個任務或可能是一個大型、多任務工作流與複雜的依賴關係。

你可以列出工作。請參考:https://docs.www.eheci.com/workflows/jobs/jobs.html view-jobs

werners1
尊敬的貢獻者三世

嗨@sagar Varma,我相信你正在談論火花工作(而不是磚工作流的工作)。

基本上每個物理運算符創建一個火花工作。這可以是一個動作也像BroadcastHashJoinExec他人。

拉斯科夫斯基Jacek所以很好解釋:

https://stackoverflow.com/questions/49385724/how-to-know-the-number-of-spark-jobs-and-stages-in-broa..。

Vidula_Khanna
主持人
主持人

嗨@sagar Varma

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map