我們可以存儲3億條記錄和更好的計算類型和配置是什麼?

[AzureDatabricks]

我們如何堅持3億條記錄嗎?最好的選擇是什麼磚蜂巢metastore / Azure存儲保存數據/δ表嗎?

什麼是限製我們對deltatables磚的數據?

我們有usecase測試人員應該能夠看到數據表和查詢。

[SailajaB]

謝謝你的回複! !

我們已經測試了7 +十萬的記錄數據與不同的格式選項saveAsTable、鑲木地板和δ堅持亞洲開發銀行的數據。這樣測試人員可以使用這些數據來運行他們的腳本。

Timetaken執行上述格式如下提到的

saveAsTable——31.44分鍾

拚花——38.78分鍾

δ- 33.66分鍾

有什麼方法來編寫處理datafame在持久性存儲,以便測試人員可以查看,如表和運行sql查詢(我們正在尋找測試人員可以修改數據樣本更新和插入)

謝謝你！

[werners1]

你可以編寫一個df來持久存儲。

隻使用spark.write。拚花(或者無論你選擇何種格式)。

您可以創建一個表格視圖上的鑲花文件太如果有必要,運行sql查詢(通過使用磚筆記本或通過odbc連接)。

[AzureDatabricks]

謝謝! ! !