傳輸文件保存在filestore工作區或回購

[MichaelO]

我做了一個機器學習模型:

lr = LinearRegression (lr)。fit (X_train y_train)

我可以節省filestore的:

文件名= " / dbfs / FileStore / lr_model。pkl”張開(文件名,“世界銀行”)f:泡菜。轉儲(lr, f)

理想情況下,我想保存模型直接工作區或回購,所以我試著:

文件名= " /用戶/用戶/ lr_model。pkl“os.makedirs (os.path.dirname(文件名),exist_ok = True)張開(文件名,“世界銀行”)f:泡菜。轉儲(lr, f)

但它是不工作的,因為文件不出現在工作區中。

我現在唯一的選擇就是把模型從filestore工作區或回購,我怎麼去呢?

[匿名 · Accepted solution]

重要的是要記住,有兩個文件係統:

1. 文件係統在本地機器集群的一部分
2. 分布式文件係統https://docs.www.eheci.com/data/databricks-file-system.html

當您使用python w /火花如sklearn,它唯一的當地是當地司機和司機。當集群將消失。

嚐試% sh ls /和% f ls和看到的差異

[Hubert_Dudek1]

工作區和回購不是完全可以通過dbfs有單獨的訪問權限。最好為您的模型,因為它就像git使用MLFlow但毫升。我認為使用MLOps您可以把你的模型還git。

[Kaniz]

嗨@Michael Okelola,

當你將文件存儲在DBFS (/ FileStore /…),它在你的帳戶(數據平麵)。而筆記本等在磚賬戶(控製平麵)。通過設計,可以不非代碼對象導入到工作區中。但現在回購協議支持任意文件,雖然隻有一個方向——你可以訪問文件回購從集群中運行數據平麵,你不能寫入回購(至少不是現在)。您可以:

• 模型導出到本地磁盤和提交,然後拉變成回購
• 使用工作區API把文件到回購。這是一個n回答顯示怎麼做。

但實際上,您應該使用MLflow內置到Azure磚,它會幫助你的hyper-parameters,記錄模型文件和其他信息。然後您可以使用api,使用這個模型命令工具,等等,例如,登台和生產階段之間移動模型使用模型注冊表,AzureML部署模型等。