默認情況下,通用集群配置將在最後一次終止集群後30天刪除。如果管理員可以保留一個集群配置超過30天固定集群.
在任何一種情況下,管理員都可以在任何時候手動刪除集群配置。
如果嚐試在已刪除其配置的集群上運行作業,則運行失敗集群不存在錯誤消息。
集群不存在,執行execute on existing cluster ID命令失敗。
Databricks審計日誌可用於記錄工作空間中的活動,允許您監視詳細的Databricks使用模式。
審計日誌在默認情況下不啟用,需要一些API調用來初始化該功能。
請參閱配置審計日誌記錄關於如何在Databricks工作區中設置審計日誌記錄的說明文檔。
如果集群配置被意外刪除,您可以使用審計日誌來確定是誰刪除了集群配置以及何時刪除了集群配置。
指令
在您的工作空間中啟用審計日誌記錄之後,您可以使用它來查找關於誰刪除了特定集群配置的信息。
加載審計日誌
在搜索審計日誌之前,必須將它們加載為DataFrame,並將DataFrame注冊為臨時表。
您需要提供S3桶名、審計日誌的完整路徑和表名。
請參閱在Amazon S3中處理數據文檔獲取更多信息。
%scala val df = spark.read.format("json").load("s3a:/// ") df. createorreplacetempview (" ")
查詢審計日誌表
在表中有了審計日誌之後,就可以使用SQL對其進行查詢。
本文包含兩個示例查詢,展示如何查找關於特定集群的信息,以及如何查看在特定日期範圍內刪除的所有集群。
您可以使用這些示例構建自己的自定義查詢。
顯示特定集群的信息
這個示例查詢返回關於集群刪除事件的詳細信息,例如誰刪除了集群,何時刪除了集群。
需要提供審計日誌表的名稱和已刪除集群的集群ID。
%sql select workspaceId, userIdentity。email, sourceIPAddress, to_timestamp(timestamp / 1000) as evenTimeStamp, ServiceName, actionName, requestParams。cluster_id as clusterId fromwhere serviceName = "clusters" AND actionName = "permanentDelete" ANDCluster_id = " "
顯示指定範圍內刪除的集群
這個示例查詢返回在特定日期範圍內刪除的所有集群的列表。
您需要提供審計日誌表的名稱以及搜索周期的開始日期和結束日期。
%sql select workspaceId, userIdentity。email, sourceIPAddress, to_timestamp(timestamp / 1000) as evenTimeStamp, ServiceName, actionName, requestParams。cluster_id as clusterId fromwhere serviceName =" clusters" AND actionName =" permanentDelete" AND date> ="< start-date>" #日期格式為yyyy-MM-dd AND date <=" " #日期格式為yyyy-MM-dd