取消
顯示的結果
而不是尋找
你的意思是:

默認最大火花在每一批流在三角洲文件塊大小?

Data_Engineer3
貢獻者

流媒體處理增量文件引發結構,在每一批最大默認的塊大小是什麼?

如何確定這種類型的火花在磚配置嗎?

#(磚SQL) #(火花流)#(火花結構化流)#火花

2回答2

NandiniN
重視貢獻二世
重視貢獻二世

你好@KARTHICK N,

spark.sql.files的默認值。maxPartitionBytes 128 MB。這些默認值是在Apache火花文檔https://spark.apache.org/docs/latest/sql-performance-tuning.html(除非會覆蓋)。

檢查配置的環境選項卡可以導航到火花UI和檢查配置。

希望有幫助。

感謝和問候,

Nandini

由於@Nandini N回答,

我看不到這個配置參數在磚job-cluster火花的UI中,我們使用job-cluster為流工作,我沒有看到這個配置環境選項卡中火花UI頁麵。

這是適用於流概念(因為我們使用流foreachbatch概念在我們的項目)?

你能幫我弄嗎?

#(磚SQL) # (Azure磚)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map