培訓模型大或小集群

[akc]

我有一個工作流模型火車每個星期天在Azure磚。有時工作流失敗的最大等待時間超過(目前我用1200秒)。解決這個問題我想增加等待時間或增加集群的大小使用。

這使我懷疑,這是更好的(便宜)下麵的兩個選項:

1. 火車模型在一個更大、更昂貴的集群將希望減少使用的時間
2. 更小的和更便宜的集群上火車模型,然後簡單地增加等待時間

或有第三和更好的解決方案嗎?

[Priyag1]

是否增加或減少集群的大小可以幫助這個過程嗎?

[luis_herrera · Accepted solution]

´會需要玩這兩個選項,但是,由於初始迭代訓練機器學習模型往往實驗,一個更小的集群是一個不錯的選擇。更小的集群也將減少震蕩的影響。建議工人類型存儲優化三角洲緩存啟用占重複讀取相同的數據和訓練數據啟用高速緩存。如果提供的計算和存儲選項storage-optimized節點是不夠的,考慮GPU-optimized節點。一個可能的缺點是缺乏三角洲與這些節點緩存支持。

而且,如果你在談論訓練深度學習模型,檢查最佳實踐,如果您使用的是PyTorch,新的。TorchDistributor。

https://learn.microsoft.com/en-us/azure/databricks/machine-learning/train-model/dl-best-practices

PS;檢查# DAIS2023會談,PyTorch的創造者是主題

[Vidula_Khanna]

嗨@Andreas Kaae

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!