默認最大火花在每一批流在三角洲文件塊大小?

[Data_Engineer3]

流媒體處理增量文件引發結構,在每一批最大默認的塊大小是什麼?

如何確定這種類型的火花在磚配置嗎?

#(磚SQL) #(火花流)#(火花結構化流)#火花

[NandiniN]

你好@KARTHICK N,

spark.sql.files的默認值。maxPartitionBytes 128 MB。這些默認值是在Apache火花文檔https://spark.apache.org/docs/latest/sql-performance-tuning.html(除非會覆蓋)。

檢查配置的環境選項卡可以導航到火花UI和檢查配置。

希望有幫助。

感謝和問候,

Nandini

[Data_Engineer3]

由於@Nandini N回答,

我看不到這個配置參數在磚job-cluster火花的UI中,我們使用job-cluster為流工作,我沒有看到這個配置環境選項卡中火花UI頁麵。

這是適用於流概念(因為我們使用流foreachbatch概念在我們的項目)?

你能幫我弄嗎?

#(磚SQL) # (Azure磚)