10-16-2022上午08:08
我不能夠找到一個源,它解釋了如何確定多少工作一塊寫的pyspark代碼將觸發。你能幫助我。對階段我知道打亂的數量等於階段的數量。
10-18-202217點
嗨@sagar Varma,你的工作可以由單個任務或可能是一個大型、多任務工作流與複雜的依賴關係。
你可以列出工作。請參考:https://docs.www.eheci.com/workflows/jobs/jobs.html view-jobs
10-18-2022不必點
嗨@sagar Varma,我相信你正在談論火花工作(而不是磚工作流的工作)。
基本上每個物理運算符創建一個火花工作。這可以是一個動作也像BroadcastHashJoinExec他人。
拉斯科夫斯基Jacek所以很好解釋:
https://stackoverflow.com/questions/49385724/how-to-know-the-number-of-spark-jobs-and-stages-in-broa..。
11-27-2022上午05:06
嗨@sagar Varma
希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。
我們很想聽到你的聲音。
謝謝!
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。