取消
顯示的結果
而不是尋找
你的意思是:

maxFilesPerTrigger不工作在青銅銀層

桑傑
價值貢獻

你好,

我用Matillion架構從AWS S3和自動裝卸機選擇文件保存在三角洲湖。下一層選擇三角洲湖的變化,並做一些處理。我能在自動裝卸機設置批量大小和它的工作。但在青銅銀層,無法設置批量限製,其選擇的所有文件。這是我的代碼從青銅銀層. .

(spark.readStream.format(“δ”)

.option (“useNotification”,“真正的”)

.option (“includeExistingFiles”,“真正的”)

.option (“allowOverwrites”,真的)

.option (“ignoreMissingFiles”,真的)

.option (“maxFilesPerTrigger”, 100年)

.load (bronze_path)

.writeStream

silver_checkpoint_path .option (“checkpointLocation”)

.trigger (processingTime = 1分鍾)

.foreachBatch (foreachBatchFunction)

.start ()

)

感謝任何幫助。

問候,

桑傑

3回複3

Vidula_Khanna
主持人
主持人

嗨@Sanjay耆那教徒的

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Sanjay耆那教的,你可以嚐試使用一個新的檢查點位置如果不是已經試過嗎?同時,請你檢查日誌是什麼微批量的大小目前處理?

嗨Lakshay,

我試著用新的檢查點位置但仍然不工作。其在整個數據,不尊重批大小中提到的代碼。

問候,

桑傑

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map