11-21-2021下午11:18
我們如何堅持3億條記錄嗎?最好的選擇是什麼磚蜂巢metastore / Azure存儲保存數據/δ表嗎?
什麼是限製我們對deltatables磚的數據?
我們有usecase測試人員應該能夠看到數據表和查詢。
11-22-202103:46我
謝謝你的回複! !
我們已經測試了7 +十萬的記錄數據與不同的格式選項saveAsTable、鑲木地板和δ堅持亞洲開發銀行的數據。這樣測試人員可以使用這些數據來運行他們的腳本。
Timetaken執行上述格式如下提到的
saveAsTable——31.44分鍾
拚花——38.78分鍾
δ- 33.66分鍾
有什麼方法來編寫處理datafame在持久性存儲,以便測試人員可以查看,如表和運行sql查詢(我們正在尋找測試人員可以修改數據樣本更新和插入)
謝謝你!
11-22-202104:47我
你可以編寫一個df來持久存儲。
隻使用spark.write。拚花(或者無論你選擇何種格式)。
您可以創建一個表格視圖上的鑲花文件太如果有必要,運行sql查詢(通過使用磚筆記本或通過odbc連接)。
11-22-202107:48點
謝謝! ! !
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。