我怎麼能自動獲取的堆轉儲時司機和執行人一個伯父錯誤?

[User16752245312]

如果你有一個工作,多次遇到內存不足錯誤(伯父)驅動程序或執行器,自動獲取的堆轉儲伯父事件將幫助調試內存問題和識別錯誤的原因。

火花配置:

spark.executor。extraJavaOptions - xx: + HeapDumpOnOutOfMemoryError - xx: HeapDumpPath = / dbfs cluster-logs /堆轉儲/ spark.driver。extraJavaOptions - xx: + HeapDumpOnOutOfMemoryError - xx: HeapDumpPath = / dbfs / cluster-logs /堆轉儲

環境變量:

DBFS_FUSE_VERSION = 1

[John_360]

有必要使用完全HeapDumpPath嗎?我發現我無法得到司機與一條不同的道路堆轉儲,但否則相同的配置。我用spark_version 10.4.x-cpu-ml-scala2.12。

[User16752245312]

它必須完全沒必要在這個例子中,您可以使用任何路徑。但是確保指向一個目錄的路徑已經存在。還要注意,DBFS路徑。我們想要一個位置司機和執行者都可以寫。