問題
筆記本或作業執行停止並返回以下錯誤之一:
運行結果不可用:任務失敗,錯誤信息Context executioncontexttid(1731742567765160237)斷開連接。
無法附加此筆記本,因為集群已達到附加筆記本的限製。分離一個筆記本,然後重試。
導致
當您將一個筆記本附加到集群時,Databricks會創建一個執行上下文(AWS|Azure).如果一個集群附加了太多的筆記本,或者創建了太多的作業,在某個時刻,集群達到了145個執行上下文的最大閾值限製,Databricks將返回一個錯誤。
解決方案
配置上下文自動清除(AWS|Azure),它允許Databricks刪除(驅逐)空閑的執行上下文。此外,從管道和ETL設計的角度來看,你可以通過以下方法避免這個問題:
- 更少的筆記本以減少創建的執行上下文的數量。
- 作業集群而不是交互集群。如果用例允許,提交筆記本或罐子作為作業。