本文解釋如何找到一個表的大小。
取決於使用的命令,如果你試圖找到一個增量的大小表或non-delta表。
三角洲表的大小
找到δ表的大小,您可以使用Apache火花SQL命令。
% scala com.databricks.sql.transaction.tahoe進口。_ val deltaLog = deltaLog。forTable(火花,“dbfs: / < path-to-delta-table >”) = deltaLog val快照。/ /當前快照三角洲表快照println (s”總文件大小(字節):$ {deltaLog.snapshot.sizeInBytes} ")
non-delta表的大小
您可以確定大小的non-delta表通過計算總額底層內單個文件的目錄。
您還可以使用queryExecution.analyzed.stats返回的大小。
% scala spark.read.table .queryExecution.analyzed.stats (“< non-delta-table-name >”)