幫助
AzureDatabricks
新的貢獻者三世
自 ‎11-21-2021
‎06-26-2023

用戶數據

  • 9的帖子
  • 0解決方案
  • 4榮譽給
  • 1榮譽收到

用戶活動

在磚pyspark並行處理的json文件

11-21-2021
我們如何從azure blob存儲和讀取文件過程並行使用pyspark磚。截止到現在我們一次讀取所有10個文件到dataframe和壓扁。感謝和問候,蘇

需要在DeltaTable看到所有的記錄。例外——. lang。OutOfMemoryError: GC開銷限製超過

11-21-2021
截斷假三角洲表中不工作。df_delta.show (df_delta.count(),假)電腦大小單節點- Standard_F4S 8 gb內存,4 coresHow多鋪馬克斯數據我們可以堅持三角洲表文件和我們如何快速檢索數據。

我們可以存儲3億條記錄和更好的計算類型和配置是什麼?

11-21-2021
我們如何堅持3億條記錄嗎?最好的選擇是什麼磚蜂巢metastore / Azure存儲保存數據/δ表嗎?什麼是限製我們對deltatables磚的數據?我們有usecase測試人員應該……
榮譽從
查看所有
榮譽給
Baidu
map