火車一個機器學習模型的Python數據統一目錄

需求

• 必須在你的磚賬戶保費計劃。

• 你一定是一個帳戶管理或metastore管理metastore你用來訓練模型。

創建一個磚機器學習的集群

按照以下步驟創建一個單用戶集群磚機器學習的,可以在統一目錄訪問數據。

創建一個磚機器學習的集群可以訪問統一目錄:

1. 登錄到工作區工作管理。

2. 在數據科學與工程或磚機器學習的角色,點擊計算。

3. 點擊創建集群。

   1. 輸入一個名稱為集群。

   2. 為磚的運行時版本的:

      1. 點擊毫升。

      2. 選擇10.3毫升(Scala 2.12火花3.2.1之上)或更高版本,或者10.3毫升(GPU, Scala 2.12,火花3.2.1)或更高版本。

4. 點擊高級選項。集安全模式來用戶隔離或單用戶。要運行Python代碼,您必須使用單用戶。

   可以由多個用戶共享的用戶隔離集群,但僅支持SQL工作負載。安裝集群一些高級特性,比如圖書館,init腳本和殘疾人DBFS保險絲山也確保集群用戶之間的安全隔離。

   使用這些先進的集群特性或語言或運行工作負載使用Python, Scala和R,單用戶設置集群模式。單用戶集群也可以運行SQL工作負載。集群可以隻使用一個用戶(默認情況下集群的所有者);其他用戶無法連接到集群。自動化工作應該在這種模式下運行,並且工作的主人應該是集群的主人。在這種模式下,查看安全不能執行。用戶從一個視圖選擇執行的權限。

   更多的信息特性在每個安全模式下,明白了集群安全模式。

5. 點擊創建集群。

創建目錄

按照以下步驟創建一個新的目錄,你的機器學習團隊可以存儲數據資產。

1. 作為一個賬戶管理員或metastore管理員,登錄到一個工作區metastore分配。

2. 創建一個筆記本或打開磚SQL編輯器中。

3. 運行下麵的命令來創建毫升目錄:

   創建目錄毫升;

   當您創建一個目錄,一個模式命名默認的自動創建。

4. 授權訪問的毫升目錄和ml.default模式,和創建表和視圖的能力ml_team組。包括所有帳戶級別的用戶,可以使用賬戶用戶。

   格蘭特使用在目錄毫升來”毫升團隊”;格蘭特使用,創建在模式毫升。默認的來”ml_team”;

現在,任何用戶的ml_team集團可以運行下麵的例子的筆記本。

導入示例筆記本

首先,導入以下筆記本。

導入筆記本:

1. 旁邊的筆記本,點擊複製鏈接導入。

2. 在您的工作區中,單擊工作空間。

3. 旁邊一個文件夾,單擊,然後單擊進口

4. 點擊URL,然後將複製的鏈接粘貼。

5. 導入的筆記本出現在您所選擇的文件夾。雙擊筆記本名稱來打開它。

6. 頂部的筆記本,選擇連接筆記本磚機器學習的集群。

筆記本分為幾個高層部分:

1. 設置。

2. 從CSV文件讀取數據並將其寫入聯合目錄。

3. 數據加載到熊貓dataframes和清理。

4. 火車一個基本的分類模型。

5. 曲調hyperparameters和優化模型。

6. 結果寫入一個新的表並與其他用戶分享。

要運行一個細胞,點擊運行。運行整個筆記本,點擊運行所有。