我已經創建了一個工作,包含一個筆記本,從Azure存儲讀取一個文件。
當文件的文件名包含日期被轉移到存儲。一個新文件到達每星期一,read-job定於每星期一。
在我的筆記本,我想用工作的schedule-date讀取文件從Azure存儲日期相同的文件名,這樣的:
file_location = (“file_name +“_”+ job_date + _ + country_id + . csv”)
我試圖通過一個日期作為一個參數,我可以訪問的筆記本,但如果工作失敗,我想重新運行工作第二天,昨日我必須手動輸入日期作為輸入參數。我想避免這種情況,隻使用真正的調度工作的日期。
我怎麼訪問從筆記本內的作業調度日期好嗎?
謝謝提前
Karolin
你好,我想在同一個目錄結構的文件,這樣您就可以使用雲文件自動裝卸機。它將逐步隻讀新的文件https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader
所以它將是另一種方式,你可以從輸入文件的日期使用。
.withColumn (“filePath input_file_name ())
你好,我想在同一個目錄結構的文件,這樣您就可以使用雲文件自動裝卸機。它將逐步隻讀新的文件https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader
所以它將是另一種方式,你可以從輸入文件的日期使用。
.withColumn (“filePath input_file_name ())