你好,
我想申請批大小自動裝卸機,代碼如下。但其挑選的所有更改的,即使我把maxFilesPerTrigger 10。感謝任何幫助。
(spark.readStream.format (json) . schema (streamSchema)
.option (“cloudFiles。backfillInterval”、“一天”)
.option (“cloudFiles。fetchParallelism”, 100年)
.option (“cloudFiles.useNotification”,“真正的”)
.option (“cloudFiles.includeExistingFiles”,“真正的”)
.option (“cloudFiles.allowOverwrites”,真的)
.option (“ignoreMissingFiles”,真的)
.option (“maxFilesPerTrigger”, 10)
.load (raw_path)
.writeStream
bronze_checkpoint_path .option (“checkpointLocation”)
.trigger(一旦= True)
.foreachBatch (foreachBatchFunction)
.start ()
.awaitTermination ()
)
你好,
這是為自動裝卸機工作,我能夠限製批量大小。但在下一層,我仍然滿載。有什麼方法可以限製批量大小。這是我的代碼。
(spark.readStream.format(“δ”)
.option (“cloudFiles.useNotification”,“真正的”)
.option (“cloudFiles.includeExistingFiles”,“真正的”)
.option (“cloudFiles.allowOverwrites”,真的)
.option (“ignoreMissingFiles”,真的)
.option (“cloudFiles。maxFilesPerTrigger”, 100年)
.option (“ignoreChanges”,“真正的”)
.load (bronze_path)
.writeStream
silver_checkpoint_path .option (“checkpointLocation”)
.trigger (processingTime = 1分鍾)
.foreachBatch (foreachBatchFunction)
.start ()
)