取消
顯示的結果
而不是尋找
你的意思是:

寫信給δ

SSV_dataeng
新的貢獻者二世
spark.conf。 ( “spark.databricks.delta.properties.defaults.columnMapping.mode” , “名稱” )
products_output_path = DA.paths。working_dir + “/δ/產品”
products_df.write。 格式 ( “δ” ).save (products_output_path)
verify_files = dbutils.fs.ls (products_output_path)
verify_delta_format =
verify_num_data_files = 0
f verify_files:
如果 f.name = = “_delta_log /” :
verify_delta_format = 真正的
elif f.name.endswith ( “.parquet” :disappointed_face:
verify_num_data_files + = 1

斷言 verify_delta_format, “數據不寫在三角洲格式”
斷言 verify_num_data_files > 0 , “不寫數據”
verify_files、verify_delta_format verify_num_data_files
打印 ( “所有測試通過” )
AssertionError回溯(最近調用最後)<命令- 1787238488083573 ><細胞係:11 >()9日10斷言verify_delta_format,“數據不寫在三角洲格式”推薦- - - - - - > 11斷言verify_num_data_files>0,“不寫數據”12verify_files,verify_delta_format,verify_num_data_files 13打印(“所有測試通過”)AssertionError:沒有數據寫
4回複4

daniel_sahal
尊敬的貢獻者三世

@SSV_dataeng
這裏的問題是什麼?

SSV_dataeng
新的貢獻者二世

1。我試圖以三角洲格式創建一個文件。δ文件創建後驗證步驟得到斷言錯誤:沒有數據。

你能請讓我知道如何解決這個問題?

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

我看到了錯誤的斷言部分代碼的一部分。你看到任何其他錯誤在寫數據?

NandiniN
重視貢獻二世
重視貢獻二世

@SSV_dataeng,

請檢查這個(你必須縮進它正確python)

productsOutputPath =噠。workingDir +“/δ/產品”
(productsDF
.write
.format(“δ”)
.mode(“覆蓋”)
.save (productsOutputPath)
)

verify_files = dbutils.fs.ls (productsOutputPath)
verify_delta_format = False
verify_num_data_files = 0
在verify_files f:
如果f.name = =“_delta_log /”:
verify_delta_format = True
elif f.name.endswith (“.parquet”):
verify_num_data_files + = 1

維護verify_delta_format,“數據不寫在三角洲格式”
斷言verify_num_data_files > 0,“沒有數據寫”
del verify_files verify_delta_format verify_num_data_files

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map