取消
顯示的結果
而不是尋找
你的意思是:

如何訪問從筆記本內的作業調度日期好嗎?

karolinalbinsso
新的貢獻者二世

我已經創建了一個工作,包含一個筆記本,從Azure存儲讀取一個文件。

當文件的文件名包含日期被轉移到存儲。一個新文件到達每星期一,read-job定於每星期一。

在我的筆記本,我想用工作的schedule-date讀取文件從Azure存儲日期相同的文件名,這樣的:

file_location = (“file_name +“_”+ job_date + _ + country_id + . csv”)

我試圖通過一個日期作為一個參數,我可以訪問的筆記本,但如果工作失敗,我想重新運行工作第二天,昨日我必須手動輸入日期作為輸入參數。我想避免這種情況,隻使用真正的調度工作的日期。

我怎麼訪問從筆記本內的作業調度日期好嗎?

謝謝提前

Karolin

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

你好,我想在同一個目錄結構的文件,這樣您就可以使用雲文件自動裝卸機。它將逐步隻讀新的文件https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader

所以它將是另一種方式,你可以從輸入文件的日期使用。

.withColumn (“filePath input_file_name ())

在原帖子查看解決方案

2回答2

Hubert_Dudek1
尊敬的貢獻者三世

你好,我想在同一個目錄結構的文件,這樣您就可以使用雲文件自動裝卸機。它將逐步隻讀新的文件https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader

所以它將是另一種方式,你可以從輸入文件的日期使用。

.withColumn (“filePath input_file_name ())

Kaniz
社區經理
社區經理

嗨@Karolin Albinsson,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)的反應幫助你找到解決方案了嗎?請讓我們知道。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map