本文解釋如何查找表的大小。
使用的命令取決於您是試圖查找增量表還是非增量表的大小。
delta表的大小
要查找delta表的大小,可以使用Apache Spark SQL命令。
% scala com.databricks.sql.transaction.tahoe進口。_ val deltaLog = deltaLog。forTable(spark, "dbfs:/") val snapshot = deltaLog。快照//當前增量表快照println(s"Total file size (bytes): ${deltalag .snapshot. sizeinbytes}")
非增量表的大小
可以通過計算底層目錄中各個文件的總和來確定非增量表的大小。
你也可以用queryExecution.analyzed.stats返回大小。
% scala spark.read.table(“< non-delta-table-name >”).queryExecution.analyzed.stats