取消
顯示的結果
而不是尋找
你的意思是:

我們可以存儲3億條記錄和更好的計算類型和配置是什麼?

AzureDatabricks
新的貢獻者三世

我們如何堅持3億條記錄嗎?最好的選擇是什麼磚蜂巢metastore / Azure存儲保存數據/δ表嗎?

什麼是限製我們對deltatables磚的數據?

我們有usecase測試人員應該能夠看到數據表和查詢。

7回複7

謝謝你的回複! !

我們已經測試了7 +十萬的記錄數據與不同的格式選項saveAsTable、鑲木地板和δ堅持亞洲開發銀行的數據。這樣測試人員可以使用這些數據來運行他們的腳本。

Timetaken執行上述格式如下提到的

saveAsTable——31.44分鍾

拚花——38.78分鍾

δ- 33.66分鍾

有什麼方法來編寫處理datafame在持久性存儲,以便測試人員可以查看,如表和運行sql查詢(我們正在尋找測試人員可以修改數據樣本更新和插入)

謝謝你!

werners1
尊敬的貢獻者三世

你可以編寫一個df來持久存儲。

隻使用spark.write。拚花(或者無論你選擇何種格式)。

您可以創建一個表格視圖上的鑲花文件太如果有必要,運行sql查詢(通過使用磚筆記本或通過odbc連接)。

謝謝! ! !

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map