火花太慢和不做parellel處理任務

[桑傑]

你好,

我有火花的工作是處理大型數據集,其處理數據的時間太長了。火花UI中,我可以看到它運行1任務9的任務。不知道如何運行這個parellel。我已經提到了自動伸縮功能,提供高達8實例。

附加的形象引發UI。

請建議如何調試和解決性能問題。

[werners1]

有幾個方法:

你可以禁用優化(見磚三角洲湖性能優化幫助文件)但我建議反對。

磚最近的默認設置運行時非常優化的國際海事組織。你可以寫快使用80 cpu(80分區),但將有一個負麵的性能影響閱讀時這些數據。

三角洲的語義分割表肯定是一個好主意(如果不是已經完成)。還有z值。

沒有簡單的答案。

如果您合並最終將並行工作,您還必須考慮數據傾斜。

調試是很困難如果火花幾乎不可能由於並行應用程序的性質。

[Vidula_Khanna]

嗨@Sanjay耆那教徒的

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!

[桑傑]

嗨Vidula,

我不能夠找到正確的解決這個問題。感激如果你能提供任何的幫助。

問候,

桑傑