取消
顯示的結果
而不是尋找
你的意思是:

我怎樣才能日期自動裝卸機處理文件

桑傑
價值貢獻

你好,

我運行自動裝卸機持續運行,每1分鍾檢查新文件。我需要存儲文件接收/處理,但它給我當自動裝卸機開始日期。

這是我的代碼。

df =(火花

.readStream

.format (“cloudFiles”)

.option (“cloudFiles。格式”、“json”)

.option (“cloudFiles。在cludeExistingFiles", "true")

.option (“cloudFiles。validateOptions”、“真正的”)

.option (“cloudFiles。區域”、“us-east-1”)

.option (“cloudFiles。backfillInterval”、“一天”)

.option (“cloudFiles。fetchParallelism”, 100年)

.option (“cloudFiles。useNotifications”、“真正的”)

. schema (streamSchema)

.load (raw_path)

.withColumn (process_date,點燃(date.today ()))

)

(df

.writeStream

.format(“δ”)

.outputMode(“追加”)

bronze_checkpoint_path .option (“checkpointLocation”)

bronze_path .option(“路徑”)

.option (“mergeSchema”,真的)

.trigger (processingTime = 1分鍾)#或設置任何有意義的數據來源

.start ()

)

感謝任何幫助。

問候,

桑傑

1接受解決方案

接受的解決方案

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Sanjay Jain,目前我們沒有自動刪除文件的方法。然而,我們正在做一個功能叫做“CleanSource”,將這樣做。目前,在私人預覽。你可以查看這個選項。

或者另一種方法是開發一個小代碼使用文件元數據的列信息定期刪除文件。

在原帖子查看解決方案

4回複4

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Sanjay Jain,您可以使用文件元數據列功能收集這些信息。

參考文檔:https://docs.www.eheci.com/ingestion/file-metadata-column.html

謝謝你Lakshay。它有幫助。

另一個查詢和自動裝卸機相關

  1. 如何刪除文件自動一旦成功處理。

問候,

桑傑

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Sanjay Jain,目前我們沒有自動刪除文件的方法。然而,我們正在做一個功能叫做“CleanSource”,將這樣做。目前,在私人預覽。你可以查看這個選項。

或者另一種方法是開發一個小代碼使用文件元數據的列信息定期刪除文件。

桑傑
價值貢獻

謝謝你Lakshay。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map