得到的總大小的數據在統一目錄的目錄和模式

[apingle]

KPI儀表板,我們需要知道的確切大小數據目錄和目錄內所有模式。做這個最好的方法是什麼?

我們試圖遍曆所有表和筆的使用細節描述命令sizeInBytes表。然而,由於我們有很多表,需要很長時間。

我們也嚐試information_schema數據庫中尋找所有的目錄,但找不到這樣的信息。

[匿名]

@Anant Pingle:請嚐試使用磚的元數據API。這個API提供了關於磚編程訪問元數據對象(如表、視圖和數據庫。

從pyspark.sql。功能導入和#“my_catalog”替換為您的目錄的名稱catalog_name =“my_catalog”#中所有表的列表目錄表= spark.catalog.listTables (catalog_name) #計算每個表的大小和總結total_size = ([spark.table(表求和。數據庫+”。”+ table.name).count() for table in tables]) print(f"The total size of {catalog_name} is {total_size} rows.")

鏈接到API文檔:https://docs.www.eheci.com/dev-tools/api/latest/workspace.html

[Vidula_Khanna]

嗨@Anant Pingle

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!