管理工作空間存儲

貴機構的私隱規定可能要求您:

  • 偶爾清除已刪除的對象,如筆記本單元格、整個筆記本、實驗或集群日誌。

  • 中存儲所有交互式筆記本結果根S3存儲桶您的雲帳戶,而不是databicks管理的控製平麵的默認位置,其中存儲一些筆記本命令結果。

清除工作區對象

您可以刪除工作區對象,例如整個筆記本、單個筆記本單元格、單個筆記本注釋和實驗,但它們是可恢複的。

永久清除已刪除的工作空間對象:

  1. 管理控製台

  2. 單擊工作空間設置選項卡。

  3. 存儲部分,單擊清洗旁邊的按鈕永久清除工作空間存儲

  4. 單擊清洗按鈕。

  5. 點擊是的,清洗來確認。

    警告

    一旦清除,工作空間對象是不可恢複的。

清除筆記本修訂曆史

永久清除筆記本修訂曆史:

  1. 管理控製台

  2. 單擊工作空間設置選項卡。

  3. 旁邊永久清除所有修訂曆史,選擇要清除的時間範圍。默認為24小時及以上

  4. 在時間框架旁邊,單擊清洗按鈕。

  5. 單擊清洗按鈕。

  6. 點擊是的,清洗來確認。

    警告

    一旦清除,修訂曆史記錄是不可恢複的。

清除集群日誌

永久清除工作空間中所有集群的Spark驅動日誌和曆史度量快照:

  1. 管理控製台

  2. 單擊工作空間設置選項卡。

  3. 旁邊永久清除集群日誌,按清洗按鈕。

  4. 點擊是的,清洗來確認。

    警告

    一旦清除,集群日誌是不可恢複的。

修改筆記本結果的存儲位置

Notebook命令輸出的存儲方式取決於運行Notebook的方式。

在默認配置中:

  • 當你交互式地運行筆記本時通過點擊運行在筆記本上:

    • 如果結果很小,則將它們存儲在數據庫中控製飛機,以及筆記本的命令內容和元數據。

    • 較大的結果存儲在工作區的根S3存儲桶在您的AWS帳戶中。Databricks將此桶用於工作區係統數據和您的工作區數據DBFS根.Notebook結果存儲在bucket的工作區係統數據部分,用戶無法訪問。

    • 圖形圖像和其他二進製對象總是單獨存儲在FileStore麵積DBFS根

  • 當你把記筆記當成一項工作時通過調度或者點擊現在運行在Jobs頁麵上,所有的結果都存儲在工作區中根S3存儲桶在你的賬戶上。

您可以將工作區配置為將所有交互式筆記本結果存儲在您的雲帳戶中,而不管結果大小。

為交互式筆記本結果配置存儲位置

您可以配置工作區,將所有交互式筆記本結果存儲在AWS帳戶中,而不是控製平麵中。方法啟用此特性管理控製台REST API.此配置對作為作業運行的筆記本沒有影響,其結果默認情況下已經存儲在您的AWS帳戶中。

請記住以下幾點:

  • 對此配置的更改僅對新結果有效。現有的筆記本結果不會被移動。

  • 一些關於結果的元數據,比如圖表列名,繼續存儲在控製平麵中。

  • 您的雲提供商可能會增加存儲成本。

  • 在讀寫結果時,網絡和IO延遲可能會增加。

使用管理控製台將所有筆記本結果存儲在您的帳戶中

作為工作區管理員:

  1. 管理控製台

  2. 單擊工作空間設置選項卡。

  3. 先進的部分,單擊在客戶帳戶中存儲交互式筆記本結果切換。

  4. 點擊確認

使用REST API將所有筆記本結果存儲在您的帳戶中

使用REST API配置工作區,將所有筆記本結果存儲在AWS帳戶中:

  • 您必須是工作空間管理員。

  • 你需要一個個人訪問令牌.下麵的說明假設您已經配置了. netrc文件中包含您的個人訪問令牌,以便您可以使用- n選項旋度命令。有關詳細信息,請參閱上麵引用的文章。

要獲取當前設置,請調用得到/ workspace-conf端點和集合storeInteractiveNotebookResultsInCustomerAccount

curl -n——請求GET“https:// < databricks-instance > / api / 2.0 / workspace-conf嗎?鍵= storeInteractiveNotebookResultsInCustomerAccount '

要使工作區能夠在AWS帳戶中存儲交互式筆記本結果,請調用補丁/ workspace-conf端點和集合storeInteractiveNotebookResultsInCustomerAccount真正的在請求體中:

curl -n——請求PATCH“https:// < databricks-instance > / api / 2.0 / workspace-conf '——頭“內容類型:文本/普通”——data-raw”{“storeInteractiveNotebookResultsInCustomerAccount”:“真正的”}'

要禁用該特性,請將相同的標誌設置為

curl -n——請求PATCH“https:// < databricks-instance > / api / 2.0 / workspace-conf '——頭“內容類型:文本/普通”——data-raw”{“storeInteractiveNotebookResultsInCustomerAccount”:“假”}'