如何獲取文件/分區為δ表嗎?

[User16869510359]

我有一個差值表,我定期運行優化命令。然而,我仍然看到大量的文件表中。我想要得到一個分手的文件在每個分區,確定哪個分區有更多的文件。獲得這些信息的最簡單方法是什麼?

[User16869510359 · Accepted solution]

以下代碼片段將細節文件每個分區數

進口com.databricks.sql.transaction.tahoe。DeltaLog org.apache.hadoop.fs進口。路徑val deltaPath = " < table_path > " val deltaLog = deltaLog(火花,新的路徑(deltaPath + / _delta_log)) val currentFiles = deltaLog.snapshot。allFiles顯示(currentFiles.groupBy (partitionValues.col) .count () .orderBy(“計數”.desc)美元)

[saurabh18cs]

你好,

如何安裝這個庫的導入com.databricks.sql.transaction.tahoe。DeltaLog”磚集群?我得到模塊沒有找到錯誤。

TQ操作

BR

Saurabh