´會需要玩這兩個選項,但是,由於初始迭代訓練機器學習模型往往實驗,一個更小的集群是一個不錯的選擇。更小的集群也將減少震蕩的影響。建議工人類型存儲優化三角洲緩存啟用占重複讀取相同的數據和訓練數據啟用高速緩存。如果提供的計算和存儲選項storage-optimized節點是不夠的,考慮GPU-optimized節點。一個可能的缺點是缺乏三角洲與這些節點緩存支持。
而且,如果你在談論訓練深度學習模型,檢查最佳實踐,如果您使用的是PyTorch,新的。TorchDistributor。
https://learn.microsoft.com/en-us/azure/databricks/machine-learning/train-model/dl-best-practices
PS;檢查# DAIS2023會談,PyTorch的創造者是主題
´會需要玩這兩個選項,但是,由於初始迭代訓練機器學習模型往往實驗,一個更小的集群是一個不錯的選擇。更小的集群也將減少震蕩的影響。建議工人類型存儲優化三角洲緩存啟用占重複讀取相同的數據和訓練數據啟用高速緩存。如果提供的計算和存儲選項storage-optimized節點是不夠的,考慮GPU-optimized節點。一個可能的缺點是缺乏三角洲與這些節點緩存支持。
而且,如果你在談論訓練深度學習模型,檢查最佳實踐,如果您使用的是PyTorch,新的。TorchDistributor。
https://learn.microsoft.com/en-us/azure/databricks/machine-learning/train-model/dl-best-practices
PS;檢查# DAIS2023會談,PyTorch的創造者是主題