取消
顯示的結果
而不是尋找
你的意思是:

在三角洲表加載新數據

patdev
新的貢獻者三世

你好所有的,

我想知道如何在三角洲更新新的數據表從新的csv文件。

下麵是我的代碼用於創建增量表從csv文件和加載數據。但我有新的更新文件並試圖加載新數據但不能任何指導將幫助。

代碼:

%的sql

設置spark.databricks.delta.schema.autoMerge.enabled = true;

創建表如果不存在catlog.schema.tablename;

複製到catlog.schema.tablename

從(SELECT * s3: / /桶/ test.csv)

FILEFORMAT = CSV

FORMAT_OPTIONS (“mergeSchema”=“真實”,“頭”=“真正的”)

但我有新文件和額外的數據。我如何加載,請指導?

謝謝

三角洲表中需要加載新數據文件

2回答2

Hubert_Dudek1
尊敬的貢獻者三世

您可以指定的目錄,並選擇您想要導入的文件。複製到默認增量將附加數據。這是一個代碼示例:

從“文件夾位置”複製到table1 FILEFORMAT = = (CSV文件' 1。csv csv”、“2.”)

patdev
新的貢獻者三世

謝謝你,我試過,它在錯誤結束,三角洲的表創建從csv文件必須轉換為拚花和varchar或字符串的所有列。所以如果我想進入新文件結束incmopatibility錯誤的數據類型

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map