抽樣。
cleanShuffleDependencies
刪除一個抽樣的震蕩和non-persisted祖先。
沒有洗牌服務運行時,清理洗牌文件使縮小規模。如果你使用這個調用後的抽樣,你應該先檢查點並實現它。
塊洗牌清理任務。默認情況下禁用。
筆記
這個API是一個開發人員API。
以前的
pyspark.RDD.checkpoint
下一個
pyspark.RDD.coalesce