寫信給δ

[SSV_dataeng]

spark.conf。 集 ( “spark.databricks.delta.properties.defaults.columnMapping.mode” , “名稱” )

products_output_path = DA.paths。working_dir + “/δ/產品”

products_df.write。 格式 ( “δ” ).save (products_output_path)

verify_files = dbutils.fs.ls (products_output_path)

verify_delta_format = 假

verify_num_data_files = 0

為 f 在 verify_files:

如果 f.name = = “_delta_log /” :

verify_delta_format = 真正的

elif f.name.endswith ( “.parquet”

verify_num_data_files + = 1

斷言 verify_delta_format, “數據不寫在三角洲格式”

斷言 verify_num_data_files > 0 , “不寫數據”

▽ verify_files、verify_delta_format verify_num_data_files

打印 ( “所有測試通過” )

AssertionError回溯(最近調用最後)<命令- 1787238488083573 >在<細胞係:11 >()9日10斷言verify_delta_format,“數據不寫在三角洲格式”推薦- - - - - - > 11斷言verify_num_data_files>0,“不寫數據”12▽verify_files,verify_delta_format,verify_num_data_files 13打印(“所有測試通過”)AssertionError:沒有數據寫

[daniel_sahal]

@SSV_dataeng
這裏的問題是什麼?

[SSV_dataeng]

1。我試圖以三角洲格式創建一個文件。δ文件創建後驗證步驟得到斷言錯誤:沒有數據。

你能請讓我知道如何解決這個問題?

[Lakshay]

我看到了錯誤的斷言部分代碼的一部分。你看到任何其他錯誤在寫數據?

[NandiniN]

嗨@SSV_dataeng,

請檢查這個(你必須縮進它正確python)

productsOutputPath =噠。workingDir +“/δ/產品”
(productsDF
.write
.format(“δ”)
.mode(“覆蓋”)
.save (productsOutputPath)
)

verify_files = dbutils.fs.ls (productsOutputPath)
verify_delta_format = False
verify_num_data_files = 0
在verify_files f:
如果f.name = =“_delta_log /”:
verify_delta_format = True
elif f.name.endswith (“.parquet”):
verify_num_data_files + = 1

維護verify_delta_format,“數據不寫在三角洲格式”
斷言verify_num_data_files > 0,“沒有數據寫”
del verify_files verify_delta_format verify_num_data_files