嗨,我麵臨著一個問題引發流工作。它被困在“流初始化”階段超過3小時。需要你的…

[SamarthJain]

你好,

我麵臨著一個問題引發流工作。它被困在“流初始化”階段超過3小時。

需要你的幫助來理解內部發生了什麼“流初始化”階段的火花流工作花費的時間太長。以下是一些更多的信息- - - - - -

1。這流的工作(我們正麵臨著一個問題)從銀表讀取數據,並將其插入到黃金表。

2。從另一個流銀表獲取數據從原始表的工作。

3所示。還有另一個批處理作業,從銀色中讀取數據,並將其寫入黃金(相同的功能作為一個流的工作)工作沒有任何問題。

[amr]

我不確定確切的問題,但也有一些一般準則時流數據從另一個表。首先確保你流形式的表三角洲表。還流變化的最好方法是通過形成一個表提供如果有太多的更新或刪除如果插入,然後使用流媒體。有一件事你可能探索簡化是使用三角洲生活表流(<表名)函數。

[NK_123]

嘿Samarth

你的問題解決了。我麵臨同樣的問題。你能幫嗎?

[strangan]

今天早上我有同樣的問題。我能解決它通過運行筆記本工作集群而不是一個通用交互式集群。也最好設置它不是汽車的規模。這些都是磚的建議。