DLT管道與司機失去了聯係

[EDDatabricks]

流數據通過一個DLT管道的結果在一個“INTERNAL_ERROR:與司機的溝通了。集群<集群ID >不是可達到120秒”例外。管道與一名工人使用專用集群。

是否有一個特定的方式我們可以配置我們的管道,以避免這個問題嗎?

此外,這是一個已知的問題嗎?如果是這樣,導致此異常的原因是什麼?

提前謝謝你的幫助!

[匿名]

@EDDatabricks EDDatabricks:

這個異常表明DLT管道已經失去了與司機溝通。為這個錯誤有幾種潛在原因,包括網絡連接問題,司機或工作節點失敗,或資源限製工人節點。

管道配置,以避免這個問題,您可以嚐試以下步驟:

1. 增加您的管道配置超時時間設置為管道允許更多的時間與司機重新連接。
2. 確保你的網絡連接是穩定的和可靠的,並且您的集群配置正確處理負載。
3. 考慮添加更多的工人節點集群分布工作負載,減少單個節點上的資源約束。
4. 檢查管道的日誌和指標來識別任何潛在的問題與資源利用或性能。

至於是否這是一個已知的問題,很難說沒有更多的上下文。然而,類似的異常已報告在各種DLT管道,他們可能是由於各種各樣的因素如前所述。

[Vidula_Khanna]

嗨@EDDatabricks EDDatabricks

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!