已達到最大執行上下文或筆記本附件限製

在Databricks中了解當達到最大執行上下文或筆記本附件限製時要做什麼。

寫的亞當Pavlacka

最後發布時間:2022年5月11日

問題

筆記本或作業執行停止並返回以下錯誤之一:

運行結果不可用:任務失敗,錯誤信息Context executioncontexttid(1731742567765160237)斷開連接。
無法附加此筆記本,因為集群已達到附加筆記本的限製。分離一個筆記本,然後重試。

導致

當您將一個筆記本附加到集群時,Databricks會創建一個執行上下文(AWS|Azure).如果一個集群附加了太多的筆記本,或者創建了太多的作業,在某個時刻,集群達到了145個執行上下文的最大閾值限製,Databricks將返回一個錯誤。

解決方案

配置上下文自動清除(AWS|Azure),它允許Databricks刪除(驅逐)空閑的執行上下文。此外,從管道和ETL設計的角度來看,你可以通過以下方法避免這個問題:

  • 更少的筆記本以減少創建的執行上下文的數量。
  • 作業集群而不是交互集群。如果用例允許,提交筆記本或罐子作為作業。