最大執行上下文或筆記本連接限製

學習做什麼當達到最大執行上下文或筆記本附件限製在磚。

寫的亞當Pavlacka

去年發表在:2022年5月11日

問題

筆記本或作業執行停止並返回下列錯誤:

運行結果不可用:工作失敗與錯誤消息上下文ExecutionContextId(1731742567765160237)斷開連接。
不能把這個筆記本因為集群已達到連接筆記本的極限。分離一個筆記本並重試。

導致

當你把一個筆記本一個集群,磚創建一個執行上下文(AWS|Azure)。如果有太多的筆記本連接到集群或太多的創建工作,在某種程度上集群達到最大閾值限製為145執行上下文,和磚返回一個錯誤。

解決方案

配置上下文auto-eviction (AWS|Azure),它允許磚刪除(驅逐)閑置的執行上下文。此外,從管道和ETL設計的角度來看,您可以避免這個問題通過使用:

  • 更少的筆記本減少執行上下文創建的。
  • 集群而不是一個交互式集群工作。如果用例允許,提交筆記本或jar文件的工作。