Azure數據工廠:分配資源/筆記本

[Giorgi]

我使用Azure數據工廠來創建管道磚的筆記本,

是這樣的:

[筆記本1 -數據預處理]- >[筆記本2 -模型訓練]- >[筆記本3 -績效評估]。

我可以寫一些配置文件,這將允許每個筆記本分配資源(磚)?

假設數據預處理需要40工人,當績效評估可以做隻有1工人。

謝謝你！

Giorgi

[Hubert_Dudek1]

我明白了,在你的情況下,自動伸縮將太多的時間。

最簡單的方法是使用一個不同的集群為另一個筆記本(並確保前麵的集群立即終止)。

另一個選擇是使用REST API 2.0 / /調整調整集群的集群https://docs.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/clusters——調整

還有一個神奇的選擇從一個筆記本,我包括一個腳本檢測所有必需的參數。

導入請求ctx = dbutils.notebook.entry_point.getDbutils () .notebook () .getContext () domain_name = ctx.tags () . get (" browserHostName ") . get () cluster_id = ctx.clusterId () . get () host_token = ctx.apiToken () . get()請求。帖子(f 'https: / / {domain_name} / api / 2.0 /集群/調整”,標題={“授權”:f 'Bearer json = {host_token}’}, {“cluster_id”: cluster_id,“num_workers”: 2})

[Giorgi · Accepted solution]

謝謝你的回答!

不同集群/筆記本是我所需要的東西。

使用REST API 2.0調整集群解決方案似乎是更靈活的路要走。我想這應該可以創建集群需求,從JSON配置,通過curl命令嗎?

理想情況下,我想實現ADF管道從一些代碼(JSON或python)部署,配置資源可以使用,我每一步(按需),和在每個集群安裝包的版本。

謝謝你！

Giorgi