增加每個階段的任務數量

當使用Spark -xml包時，您可以通過在集群的Spark配置(AWS | Azure)中將配置設置Spark .hadoop.mapred.max.split.size更改為較低的值來增加每個階段的任務數量。此配置設置控製輸入塊大小。當從DBFS讀取數據時，它被劃分為輸入塊，然後…

已達到最大執行上下文或筆記本附件限製

問題Notebook或job停止執行並返回以下錯誤之一:Run result unavailable: job failed with error message上下文executioncontexttid(1731742567765160237)是斷開的。無法附加此筆記本，因為集群已達到附加筆記本的限製。分離一個筆記本，然後重試。原因當你附上一個筆記本…

序列化任務太大

如果您看到以下錯誤消息，您可能能夠通過在啟動集群時更改Spark配置(AWS | Azure)來修複此錯誤。序列化任務XXX:XXX為XXX字節，超過了允許的最大值:spark.rpc.message.maxSize (XXX字節)。考慮增加spark.rpc.message.maxSize，或者對較大的值使用廣播變量。要改變…