麻煩訪問“_metadata”列中使用cloudFiles三角洲生活表

[tej1]

我們正在建設一個三角洲住管道在AWS S3使用cloudFiles攝取csv文件。

和有必要訪問文件的文件修改的時間戳。

記錄在這裏,我們選擇“_metadata”列在三角洲住管道任務沒有成功。我們做錯了什麼嗎?

下麵的代碼片段:

@dlt。表(name =“青銅”,評論= f“新{模式}數據逐步吸收從S3”, table_properties ={“質量”:“青銅”})def bronze_job():返回火花\ .readStream \ .format (cloudFiles) \ .option (“cloudFiles。useNotifications”、“真實”)\ .option (“cloudFiles。格式”、“csv”) \ .option (“cloudFiles。區域”、“一來”)\ .option(“分隔符”,",")\ .option(“逃脫”,“\”)\ .option(“頭”,“假”)\ .option(“編碼”,“utf - 8”) . SCHEMA (cdc_schema) \ \ .load (“/ mnt / % s /美國疾病控製與預防中心/ % s“% (RAW_MOUNT_NAME、模式))\ .select (“*”、“_metadata”)

謝謝。

光輝

[Hubert_Dudek1]

你使用磚運行時的10.5嗎?

[tej1 · Accepted solution]

是的,在一個單獨的集群(對於任何集群外的DLT管道)這個功能使用博士10.5工作。

我發現這個問題。我們不能選擇運行時(DLT無法設置spark_version)管道設置。

[Kaniz]

嗨@Tejas Sherkar,謝謝你與社區共享的解決方案。我很高興你可以找到你的問題的解決方案。最終我標記你的回答最好。

[柯爾特]

我有同樣的問題。這個答案是否意味著沒有辦法文件元數據使用三角洲住表嗎?