什麼是“合理的”/“正常”批處理時間方便(沒有真正處理,隻是添加一些簡單的字段)流工作到/從三角洲湖嗎?我們已經建立了一個簡單的測試情況,我們從azure事件中心生成新的消息流每2秒到一個增量表(稱為青銅),我們發現,如果這個獨自運行Standard_E8ds_v4(8個核心,64 gb) outputMode(“追加”)得到批時間約3 - 4秒。這是一組典型的指標:
“durationMs”: {“addBatch”: 3366年,“getBatch”: 12日“getOffset”: 74年,“queryPlanning”: 16日,“triggerExecution”: 3904年,“walCommit”: 330},
如果我添加一個銀級流(差值表的差值表)這張照片是大致相同的。
我的問題:這是像預期的那樣嗎?火花文檔中;②持續當我讀到關於處理[1]有談論~ 100毫秒為默認微配料(不是連續處理)。但這可能是內存之間的源/彙嗎?有技巧的延遲?
1:https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html continuous-processi……
