問題
筆記本或作業執行停止並返回下列錯誤:
運行結果不可用:工作失敗與錯誤消息上下文ExecutionContextId(1731742567765160237)斷開連接。
不能把這個筆記本因為集群已達到連接筆記本的極限。分離一個筆記本並重試。
導致
當你把一個筆記本一個集群,磚創建一個執行上下文(AWS|Azure)。如果有太多的筆記本連接到集群或太多的創建工作,在某種程度上集群達到最大閾值限製為145執行上下文,和磚返回一個錯誤。
解決方案
配置上下文auto-eviction (AWS|Azure),它允許磚刪除(驅逐)閑置的執行上下文。此外,從管道和ETL設計的角度來看,您可以避免這個問題通過使用:
- 更少的筆記本減少執行上下文創建的。
- 集群而不是一個交互式集群工作。如果用例允許,提交筆記本或jar文件的工作。