06-07-202309:12點
在ETL的情況下,我希望能夠根據需要調節表模式,即列數可能會增加或減少取決於ETL腳本。另外,我想使用動態分區覆蓋使用replacewhere選項時避免潛在的錯誤。
但基於文檔中提供的信息”有選擇地覆蓋數據與三角洲湖|磚在AWS上“看來,這個功能還不支持。有解決方案嗎?
我很感激你的支持。
為您的信息:
磚運行時:11.3 LTS(包括Apache火花3.3.0,Scala 2.12)
06-08-202301:37我
沒有,我不知道。與現有動態分區覆蓋,邏輯分區的寫不包含數據保持不變。
這對所有分區假定一個相同的模式,這是與overwriteSchema不能保證。
在原帖子查看解決方案
06-09-202303:26我
嗨@Thanapat Sontayasara,
做@Werner Stinckens的反應回答了你的問題?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?如果沒有,你會很高興給我們更多的信息嗎?
謝謝!
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。