取消
顯示的結果
而不是尋找
你的意思是:

自動裝卸機maxFilesPerTrigger不正常工作

桑傑
價值貢獻

你好,

我想申請批大小自動裝卸機,代碼如下。但其挑選的所有更改的,即使我把maxFilesPerTrigger 10。感謝任何幫助。

(spark.readStream.format (json) . schema (streamSchema)

.option (“cloudFiles。backfillInterval”、“一天”)

.option (“cloudFiles。fetchParallelism”, 100年)

.option (“cloudFiles.useNotification”,“真正的”)

.option (“cloudFiles.includeExistingFiles”,“真正的”)

.option (“cloudFiles.allowOverwrites”,真的)

.option (“ignoreMissingFiles”,真的)

.option (“maxFilesPerTrigger”, 10)

.load (raw_path)

.writeStream

bronze_checkpoint_path .option (“checkpointLocation”)

.trigger(一旦= True)

.foreachBatch (foreachBatchFunction)

.start ()

.awaitTermination ()

)

1接受解決方案

接受的解決方案

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Sanjay耆那教徒,因為你提供了觸發一次,maxFilesPerTrigger不會生效。與觸發一次,所有的文件將會一起讀。您需要更改觸發這個選項生效。

請參考文檔:

https://docs.www.eheci.com/ingestion/auto-loader/options.html common-auto-loader-options

在原帖子查看解決方案

3回複3

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Sanjay耆那教徒,因為你提供了觸發一次,maxFilesPerTrigger不會生效。與觸發一次,所有的文件將會一起讀。您需要更改觸發這個選項生效。

請參考文檔:

https://docs.www.eheci.com/ingestion/auto-loader/options.html common-auto-loader-options

謝謝Lakshay

你好,

這是為自動裝卸機工作,我能夠限製批量大小。但在下一層,我仍然滿載。有什麼方法可以限製批量大小。這是我的代碼。

(spark.readStream.format(“δ”)

.option (“cloudFiles.useNotification”,“真正的”)

.option (“cloudFiles.includeExistingFiles”,“真正的”)

.option (“cloudFiles.allowOverwrites”,真的)

.option (“ignoreMissingFiles”,真的)

.option (“cloudFiles。maxFilesPerTrigger”, 100年)

.option (“ignoreChanges”,“真正的”)

.load (bronze_path)

.writeStream

silver_checkpoint_path .option (“checkpointLocation”)

.trigger (processingTime = 1分鍾)

.foreachBatch (foreachBatchFunction)

.start ()

)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map