你好所有的,我試圖從datalake讀取一個csv文件並使用Copyinto數據加載到sql表。我麵臨一個問題在這裏我創建了一個表智慧……

[dataEngineer3]

你好,

我試圖從datalake讀取一個csv文件並使用Copyinto數據加載到sql表。

我麵臨一個問題

我創建了一個表有6列一樣csv文件中的數據。

但無法加載數據。

誰能helpme嗎

[Kaniz]

你好@dataEngineer!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[塞巴斯蒂安。]

選擇之一是您可以刪除底層三角洲文件或添加mergeschema真正當你寫作三角洲表。

[dataEngineer3]

謝謝你快速反應我添加選項mergeschema真的仍然無法加載數據

[werners1]

它看起來像mergeschema並不活躍。

你可以試著主動與spark.databricks.delta.schema.automerge.enabled會話設置參數。這是整個sparksession。

更好的解決方案是通過模式到csv文件(列名稱和類型)。

mergeSchema是很有趣的,但它並不總是工作或給你想要的結果。