取消
顯示的結果
而不是尋找
你的意思是:

如何在生產計劃200萬json文件攝入

Yogybricks
新的貢獻者二世

我們正在計劃200萬+ json加載到任何間歇刺激。我們應該如何計劃失敗和完全加載沒有性能問題。

1回複1

莫
新的貢獻者三世
新的貢獻者三世

你好,

您可以使用自動裝卸機逐步加載所有文件。

看看這個:

https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/

它會自動推斷出模式和處理模式演化(你也可以決定營救損壞記錄):

https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/schema schema-inference

下麵是一些常見的數據加載模式的例子:

https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/patterns

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map