是否可以同時使用“動態分區覆蓋”和“overwriteSchema”選項在寫DataFrameδ表?”

[Thanapat_S]

在ETL的情況下,我希望能夠根據需要調節表模式,即列數可能會增加或減少取決於ETL腳本。另外,我想使用動態分區覆蓋使用replacewhere選項時避免潛在的錯誤。

但基於文檔中提供的信息”有選擇地覆蓋數據與三角洲湖|磚在AWS上“看來,這個功能還不支持。有解決方案嗎?

我很感激你的支持。

為您的信息:

磚運行時:11.3 LTS(包括Apache火花3.3.0,Scala 2.12)

[werners1 · Accepted solution]

沒有,我不知道。與現有動態分區覆蓋,邏輯分區的寫不包含數據保持不變。

這對所有分區假定一個相同的模式,這是與overwriteSchema不能保證。

[Vartika]

嗨@Thanapat Sontayasara,

做@Werner Stinckens的反應回答了你的問題?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?如果沒有,你會很高興給我們更多的信息嗎?

謝謝!