如何設置停留時間為一個增量表低於默認期嗎?它甚至有可能嗎?

[納娑]

我試圖為δ保存期通過使用下麵的命令。

delta_path deltaTable = DeltaTable.forPath(火花)

spark.conf.set (“spark.databricks.delta.retentionDurationCheck.enabled”,“假”)

deltaTable。logRetentionDuration = "間隔1天”

deltaTable.deletedFileRetentionDuration = "間隔1天”

這些命令不為我工作,我的意思是,他們不刪除任何文件給定區間。我去哪裏錯了嗎?

[Hubert_Dudek1 · Accepted solution]

有兩種方法:

1)請在集群組(集群- >編輯- > - >引發火花配置):

spark.databricks.delta.retentionDurationCheck.enabled假

2)或DeltaTable之前。forPath集(我認為你需要改變訂單在您的代碼):

spark.conf.set (“spark.databricks.delta.retentionDurationCheck.enabled”,“假”)

[Kaniz]

嗨@Manasa Kalluri似乎@Hubert杜德克給了一個全麵的解決方案。你能解決你的問題嗎?

[納娑]

嗨@Kaniz開羅,是的我能解決這個問題!謝謝

[納娑]

嗨@Hubert杜德克,謝謝你回應!