在三角洲表加載新數據

[patdev]

你好所有的,

我想知道如何在三角洲更新新的數據表從新的csv文件。

下麵是我的代碼用於創建增量表從csv文件和加載數據。但我有新的更新文件並試圖加載新數據但不能任何指導將幫助。

代碼:

%的sql

設置spark.databricks.delta.schema.autoMerge.enabled = true;

創建表如果不存在catlog.schema.tablename;

複製到catlog.schema.tablename

從(SELECT * s3: / /桶/ test.csv)

FILEFORMAT = CSV

FORMAT_OPTIONS (“mergeSchema”=“真實”,“頭”=“真正的”)

但我有新文件和額外的數據。我如何加載,請指導?

謝謝

三角洲表中需要加載新數據文件

[Hubert_Dudek1]

您可以指定的目錄,並選擇您想要導入的文件。複製到默認增量將附加數據。這是一個代碼示例:

從“文件夾位置”複製到table1 FILEFORMAT = = (CSV文件' 1。csv csv”、“2.”)

[patdev]

謝謝你,我試過,它在錯誤結束,三角洲的表創建從csv文件必須轉換為拚花和varchar或字符串的所有列。所以如果我想進入新文件結束incmopatibility錯誤的數據類型