磚寫Azure數據瀏覽器寫突然變得緩慢

[RengarLee]

現在,我寫信給Azure explorer使用火花流數據。有一天,突然變得慢寫道。重啟沒有效果。

我有一個問題引發Azure數據流的探險家。

Q1:我應該做些什麼來得到性能回複?

圖1顯示了在當前表的性能。

圖2現在表中寫的性能。

圖3在當前表的性能,但檢查點位置是新的。

有沒有可能檢查點位置引起的嗎?

[RengarLee]

我很抱歉現在回複你,這個問題已經解決,具體原因是另一個答案。

[RengarLee · Accepted solution]

我很抱歉,我隻是覺得這個問題沒有解決

解決方案

1. 設置maxFilesPerTrigger和maxBytesPerTrigger
2. 使autpoptimize

原因

第一天,處理大文件和最終處理小文件。

詳細的原因

在性能下降:

1000 = (endOffset指數——startOffset指數)= (80999 - 79999年)

1305389 =numInputRows

avg記錄/文件是1305389/1000 = 1305.389

後性能下降:1000 = (endOffset指數——startOffset指數)= (90999 - 89999)

45644 = numInputRows

avg記錄/文件是45644/1000 = 45

從(1)和(2)的比較,可以看出,文件讀取每一批的數量之前和之後的性能下降(23:30)仍維持在1000,但在23:30 1000文件的數量變化。少,最有可能的是文件大小變得更小,從而導致一個更小的文件,所以閱讀項目的總數減少了。第一天,它處理大文件和最終處理小文件。

建議:

https://docs.microsoft.com/en-gb/azure/databricks/delta/delta-streaming limit-input-rate

https://docs.microsoft.com/en-us/azure/databricks/delta/optimizations/auto-optimize

最後,感謝大磚團隊和微軟團隊的技術支持。