取消
顯示的結果
而不是尋找
你的意思是:

得到的總大小的數據在統一目錄的目錄和模式

apingle
貢獻者

KPI儀表板,我們需要知道的確切大小數據目錄和目錄內所有模式。做這個最好的方法是什麼?

我們試圖遍曆所有表和筆的使用細節描述命令sizeInBytes表。然而,由於我們有很多表,需要很長時間。

我們也嚐試information_schema數據庫中尋找所有的目錄,但找不到這樣的信息。

2回答2

匿名
不適用

@Anant Pingle:請嚐試使用磚的元數據API。這個API提供了關於磚編程訪問元數據對象(如表、視圖和數據庫。

從pyspark.sql。功能導入和#“my_catalog”替換為您的目錄的名稱catalog_name =“my_catalog”#中所有表的列表目錄表= spark.catalog.listTables (catalog_name) #計算每個表的大小和總結total_size = ([spark.table(表求和。數據庫+”。”+ table.name).count() for table in tables]) print(f"The total size of {catalog_name} is {total_size} rows.")

鏈接到API文檔:https://docs.www.eheci.com/dev-tools/api/latest/workspace.html

Vidula_Khanna
主持人
主持人

嗨@Anant Pingle

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map