取消
顯示的結果
而不是尋找
你的意思是:

如何獲取文件/分區為δ表嗎?

User16869510359
尊敬的貢獻者

我有一個差值表,我定期運行優化命令。然而,我仍然看到大量的文件表中。我想要得到一個分手的文件在每個分區,確定哪個分區有更多的文件。獲得這些信息的最簡單方法是什麼?

1接受解決方案

接受的解決方案

User16869510359
尊敬的貢獻者

以下代碼片段將細節文件每個分區數

進口com.databricks.sql.transaction.tahoe。DeltaLog org.apache.hadoop.fs進口。路徑val deltaPath = " < table_path > " val deltaLog = deltaLog(火花,新的路徑(deltaPath + / _delta_log)) val currentFiles = deltaLog.snapshot。allFiles顯示(currentFiles.groupBy (partitionValues.col) .count () .orderBy(“計數”.desc)美元)

在原帖子查看解決方案

2回答2

User16869510359
尊敬的貢獻者

以下代碼片段將細節文件每個分區數

進口com.databricks.sql.transaction.tahoe。DeltaLog org.apache.hadoop.fs進口。路徑val deltaPath = " < table_path > " val deltaLog = deltaLog(火花,新的路徑(deltaPath + / _delta_log)) val currentFiles = deltaLog.snapshot。allFiles顯示(currentFiles.groupBy (partitionValues.col) .count () .orderBy(“計數”.desc)美元)

你好,

如何安裝這個庫的導入com.databricks.sql.transaction.tahoe。DeltaLog”磚集群?我得到模塊沒有找到錯誤。

TQ操作

BR

Saurabh

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map