你能和火花z值表結構流?

[christian_acuna]

嗨,你能做zordering作為結構的一部分流攝入?

[peterlandis]

可以通過閱讀zorder結構化流數據到三角洲的表和zorder所需的部分寫差值表。所以你本質上利用foreach批寫出結構化流到三角洲表在小微批次和每一批後然後zorder數據。

[Brian2]

你也可以打開汽車優化寫道你表或會話。這是特別好的如果你的表分區。你也應該打開汽車壓實控製文件的大小。

汽車壓實可以啟用表或會話級別使用以下設置:

• 表屬性:delta.autoOptimize.autoCompact

• SparkSession設置:spark.databricks.delta.autoCompact.enabled

[Brian2]

這是設置自動優化

優化寫在表或會話級別可以啟用使用以下設置:

• 表設置:delta.autoOptimize.optimizeWrite

• SparkSession設置:spark.databricks.delta.optimizeWrite.enabled