刪除/創建表與PySpark紅移

[BradSheridan]

周五下午的Bricksters快樂!對你有另一個問題……我有一個從紅移到DF pyspark筆記本,上麵寫著,做一些“東西”,然後寫回紅移。所有的好。我想先做沒有運氣是刪除表如果存在,然後與創建表,如果不存在,但似乎無法找出。歡迎任何建議!謝謝

[BradSheridan · Accepted solution]

回答我的問題! !看看這個:

dropSQL =(“刪除表如果存在<表>;”)。——注意分號結束時!

createSQL =(“創建表如果不存在<表> (field1 int, field2日期,等等…);”)

preActionsSQL = dropSQL + createSQL

當你寫dataframe紅移表,包括:

.option(“預作用”,preActionsSQL)

邊注:如果你使用.mode(“覆蓋”)選項,我認為它實際上*滴或截斷目標表的第一個,但我還沒有確認這個……太興奮了,與你們分享我的發現! ! ! !