火花內存錯誤。你可以解決這個錯誤在磚通過增加集群的大小。

[SS2]

火花內存錯誤。

你可以解決這個錯誤在磚通過增加集群的大小。

[karthik_p]

@年代每次集群增加可能不是很好的解決方案,基於場景就發生了變化

1. 有時我們可能需要調整代碼
2. 有時我們可能需要添加內存參數
3. 基於ganglia指標我們可以獲得更多的信息

[NhatHoang]

嗨,夥計們,

我同意,最好是如果你改進你的代碼,而不是增加集群的大小。你可以配置分區的數量。

[Shalabh007]

直接跳上解決公司集群大小不是advisible。我發現這很好地寫博客可能是潛在的原因和一些解決伯父錯誤引發的初步措施。

https://medium.com/swlh/spark伯父特寫- 462 c7a01709d——錯誤

[DK03]

添加一些更多的指向@karthik p的答案。

1. 使用kryo序列化器而不是java序列化器。
2. 使用一個優化G1GC等垃圾收集器。
3. 明智地使用分區字段。