管理集群

本文描述如何管理數據磚集群,包括顯示、編輯、啟動、終止、刪除、控製訪問和監控性能和日誌。

顯示集群

顯示集群在工作區中,單擊計算在側邊欄。

集群計算頁麵顯示在兩個選項卡:通用的集群和工作的集群。

左邊是兩列表示如果集群已經固定,集群的狀態:

固定
開始,終止
集群標準
- 運行
- 終止
高並發集群
- 運行
- 終止
拒絕訪問
- 運行
- 終止
表啟用了acl
- 運行
- 終止

在最右邊的右邊通用的集群標簽是一個圖標可以使用終止集群。

您可以使用三顆紐扣的菜單來重新啟動,克隆,刪除,或編輯權限集群。菜單選項顯示為灰色不可用。

的通用的集群選項卡顯示筆記本的數量連接筆記本電腦圖標連接到集群。

過濾器集群列表

您可以過濾集群列表使用頂部的按鈕和搜索框:

銷一個集群

集群是終止後30天,永久刪除。保持一個通用的集群配置即使一個集群終止超過30天,一個管理員可以銷集群。100集群可以固定。

你可以銷一個集群的集群列表或集群詳細信息頁麵:

銷集群的集群列表

銷或拔掉一個集群,單擊銷圖標左邊的集群名稱。

銷集群的集群細節頁麵

銷或拔掉一個集群,單擊銷圖標右邊的集群名稱。

你也可以調用銷API端點以編程方式銷一個集群。

查看集群配置作為JSON文件

有時它可以幫助查看您的集群配置為JSON。這是特別有用,當你想創建類似的集群使用集群API 2.0。當你查看現有的集群,隻是去配置選項卡上,單擊JSON在右上角的選項卡中,複製JSON,粘貼到你的API調用。JSON視圖才能準備好。

編輯一個集群

你編輯集群的集群配置細節頁麵。顯示集群詳細信息頁麵,點擊頁麵上計算集群名稱。

你也可以調用編輯集群API端點以編程方式編輯。

請注意

筆記本和工作在集群保持連接後編輯。
庫安裝在集群編輯後繼續安裝。
如果您的編輯任何屬性運行集群(集群的規模和權限除外),您必須重新啟動它。這可以破壞用戶目前使用集群。
您可以編輯隻運行或終止集群。但是,您可以更新權限為集群並不在這些州在集群上的細節頁麵。

對於集群配置屬性的詳細信息您可以編輯,看到的配置集群。

克隆一個集群

你可以創建一個新的集群通過克隆現有集群。

從集群列表中,單擊三顆紐扣的菜單並選擇克隆從下拉。

從集群詳細信息頁麵,點擊並選擇克隆從下拉。

集群創建表單打開來填充集群配置。不包括以下屬性的現有集群的克隆:

集群的權限
安裝庫
連接筆記本電腦

控製訪問集群

集群內的訪問控製管理控製台集群允許管理員和用戶委托給細粒度訪問其他用戶。有兩種類型的集群訪問控製:

集群創建權限:管理員可以選擇允許哪些用戶創建集群。
集群級別權限:用戶可以管理允許一個集群可以配置是否可以連接到其他用戶,重啟,調整和管理集群的集群列表或集群細節頁麵。
從集群列表,單擊烤肉串菜單(/ _static /圖片/集群/ cluster-3-buttons.png)並選擇編輯權限。

從集群詳細信息頁麵,點擊並選擇權限。

學習如何配置集群和集群級別權限訪問控製,明白了集群訪問控製。

開始一個集群

除了創建一個新的集群,您也可以開始之前終止集群。這讓你重新創建一個以前終止與其原始配置集群。

從集群列表中您可以啟動一個集群,集群細節頁麵,或一個筆記本。

開始一個集群的集群列表中,單擊箭頭:
開始一個集群的集群詳細信息頁麵,點擊開始:
開始從一個筆記本一個集群,單擊連接筆記本上麵下拉。你可以選擇集群連接到你的筆記本上。

你也可以調用開始API端點以編程方式啟動一個集群。

磚用獨特的標識一個集群集群ID。當你開始一個終止集群時,磚重新創建集群使用相同的ID,自動安裝所有的圖書館,並重新筆記本。

集群自動啟動工作

當一個工作分配給一個現有終止集群調度運行或者連接到一個終止集群從JDBC / ODBC接口,自動重新啟動集群。看到創建一個工作和JDBC連接。

集群自動啟動允許您配置集群autoterminate無需人工幹預重新啟動集群調度工作。此外,你可以通過調度時間表集群的初始化工作終止集群上運行。

前一個集群自動重啟,集群和工作訪問控製權限檢查。

請注意

如果您的集群成立於磚平台版本2.70或更早,沒有自動啟動:工作計劃終止集群上運行就會Beplay体育安卓版本失敗。

終止一個集群

保存集群資源,你可以終止一個集群。終止集群不能運行筆記本或工作,但它的配置存儲,以便它可以重用(或者,某些類型的工作自動啟動在稍後的時間。您可以手動終止集群或配置集群指定的靜止期後自動終止。磚記錄信息集群時終止。當終止集群的數量超過150,最古老的集群被刪除。

除非一個集群固定集群終止後30天,它是自動和永久刪除。

終止集群出現在集群列表在左邊的灰色圓集群名稱。

請注意

當您運行一個工作在一個新工作的集群(通常建議),集群終止和重啟當工作完成時不可用。另一方麵,如果你安排工作的運行現有通用的集群已經終止,集群自動啟動。

手動終止

您可以手動終止集群的集群列表或集群的詳細頁麵。

終止一個集群的集群列表,點擊廣場:
終止一個集群的集群詳細信息頁麵,點擊終止:

自動終止

您還可以設置自動終止一個集群。在創建集群的過程中,你可以在幾分鍾內指定一個靜止期之後,你想要終止的集群。如果當前時間和最後一個命令的區別在集群上運行超過指定的靜止期,磚自動終止集群。

集群被認為是不活躍的,當所有命令的集群,包括火花工作,結構化流,和JDBC調用,執行完成。

警告

集群不活動造成DStreams的使用報告。這意味著一個autoterminating集群可能DStreams運行時終止。關掉自動終止為集群運行DStreams或考慮使用結構化的流。
自動終止功能顯示器隻有火花工作,而不是用戶定義的局部流程。因此,如果所有火花工作已經完成了,一個集群可以終止,即使局部流程正在運行。
閑置集群持續積累DBU和雲實例指控不活動期間在終止之前。

配置自動終止

你配置自動終止自動終止字段自動駕駛儀的選擇盒子在集群上創建頁麵:

你可以選擇自動終止,清算自動終止複選框或通過指定一個不活躍的時期0。

請注意

自動終止是最新最好的支持引發版本。舊的火花版本有已知的限製,可能會導致不準確的報告集群活動。例如,集群運行JDBC, R,或流命令可以報告過期的活動時間,導致過早終止集群。請升級到最新的火花版本受益bug修複和改進自動終止。

意外終止

有時一個集群是意外終止,而不是由於手動終止或配置自動終止。

刪除一個集群

刪除一個集群終止集群並刪除它的配置。

警告

你不能取消這個行動。

你不能刪除一個固定集群。為了刪除一個固定的集群,它由管理員必須先拔掉。

從集群列表中,單擊三顆紐扣的菜單並選擇刪除從下拉。

從集群詳細信息頁麵,點擊並選擇刪除從下拉。

你也可以調用永久刪除API端點以編程方式刪除一個集群。

重新啟動集群更新最新的圖片

當你重新啟動集群,它得到了計算資源的最新圖像容器和VM主機。特別重要的為長時間運行的集群定期重啟,通常用於某些應用程序,如處理流數據。

你有責任定期重啟所有計算資源以保持圖像最新的圖像的版本。

重要的

如果你使合規安全概要你的帳戶或工作區,長時間運行的集群自動重啟後25天。磚建議管理員重新啟動集群運行前25天,這樣做在一個預定的維護窗口。這樣可以減少雙方的風險破壞計劃的工作。

你可以重新啟動集群以多種方式:

使用UI來重新啟動集群的集群細節頁麵。顯示集群詳細信息頁麵,點擊頁麵上計算集群名稱。點擊重新啟動。
使用集群API重新啟動集群。
使用磚提供的腳本確定您的集群運行多長時間,並選擇重新啟動它們如果他們超過指定數量的天開始

運行一個腳本,它決定了你多少天集群運行,並選擇重新啟動它們

如果你是一個工作空間管理,您可以運行一個腳本,它決定了您的每個集群已經運行多長時間,和可選重啟他們是否超過指定數量的天。磚提供這個腳本作為一個筆記本。

腳本的第一行定義配置參數:

min_age_output:一個集群的最大天數可以運行。默認值為1。
perform_restart:如果真正的隨著年齡的增長,腳本重新啟動集群大於規定的天數min_age_output。默認值是假確定了長期運行的集群,但不重新啟動它們。
secret_configuration:替換REPLACE_WITH_SCOPE和REPLACE_WITH_KEY與一個秘密範圍和關鍵的名字。設置秘密的更多細節,請參閱筆記本。