04-02-2023上午09:20
流媒體處理增量文件引發結構,在每一批最大默認的塊大小是什麼?
如何確定這種類型的火花在磚配置嗎?
#(磚SQL) #(火花流)#(火花結構化流)#火花
04-03-2023上午07:26
你好@KARTHICK N,
spark.sql.files的默認值。maxPartitionBytes 128 MB。這些默認值是在Apache火花文檔https://spark.apache.org/docs/latest/sql-performance-tuning.html(除非會覆蓋)。
檢查配置的環境選項卡可以導航到火花UI和檢查配置。
希望有幫助。
感謝和問候,
Nandini
04-04-2023帕克點
由於@Nandini N回答,
我看不到這個配置參數在磚job-cluster火花的UI中,我們使用job-cluster為流工作,我沒有看到這個配置環境選項卡中火花UI頁麵。
這是適用於流概念(因為我們使用流foreachbatch概念在我們的項目)?
你能幫我弄嗎?
#(磚SQL) # (Azure磚)
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。