當堅持當unpersist抽樣的火花

[paourissi]

假設我有以下:

<代碼> val dataset2 = dataset1.persist (StorageLevel.MEMORY_AND_DISK)

val dataset3 = dataset2.map (.....) 1)

1)如果你轉換在dataset2然後你必須堅持它並將其傳遞給dataset3 unpersist前或不呢?

2)我試著找出何時堅持和unpersist抽樣。每次創建新的抽樣,我一定要堅持嗎?

3)為了一個unpersist發生,行動必須遵循? (e。x otherrdd.count)

謝謝

[Arun_KumarPT]

能夠很好的證明:http://spark.apache.org/docs/latest/programming-guide.html rdd-persistence

[TimKellogg]

這並不回答問的任何問題。這個問題是關於unpersisting一個數據幀。相關文檔隻說,這是可以做到的,但不給任何提示當它應該做的。我擔心的是,unpersisting過早會導致零緩存的好處。

我假設你應該等到去年力評估,但它不是記錄,很難推斷鑒於緩存/ unpersist變異。