磚筆記本的執行上下文

閑置的執行上下文

被認為是一個執行上下文閑置當最後完成執行發生過去一套閑置的閾值。最後完成執行筆記本完成最後一次執行的命令。空閑的時間閾值,最後執行和完成之間必須通過任何試圖自動分離的筆記本。

當一個集群已經達到最大限製,磚刪除(清除)閑置執行上下文(從最近最少使用)。即使一個上下文刪除,使用上下文是筆記本仍然附著在集群和集群中出現的筆記本列表。流筆記本運行被認為是積極的,他們的背景是永遠驅逐,直到他們已經停止執行。如果一個空閑的上下文是驅逐,UI顯示一條消息,表明筆記本使用上下文分離是由於被閑置。

如果你試圖把一個筆記本集群最大數量的執行上下文和沒有空閑的上下文(或者如果auto-eviction禁用),UI顯示一條消息說,當前已經達到最大執行上下文閾值和筆記本仍將處於分離狀態。

如果你叉一個過程,無所事事的執行上下文仍被視為一次派生過程返回請求的執行。分支獨立的過程不推薦與火花。

配置上下文auto-eviction

Auto-eviction默認情況下是啟用的。為一個集群,禁用auto-eviction設置火花財產spark.databricks.chauffeur.enableIdleContextTracking假。

確定火花和磚運行時版本

確定集群的火花版本你的筆記本連接,運行:

火花。版本

確定集群的磚運行時版本的你的筆記本連接,運行:

火花。相依。得到(“spark.databricks.clusterUsageTags.sparkVersion”)