我如何設置正確的集群?

[Ybaselto]

我個人,一旦我的數據處理優化,我基準不同的設置找到一個尊重我的過程時間目標dbu越少。(對不起,我的英語)

[Rheiman · Accepted solution]

集群一般決策參考這篇文章https://docs.microsoft.com/en-gb/azure/databricks/clusters/cluster-config-best-practices

一旦你選擇了一個集群有意義,運行它並檢查你的神經節指標是否需要計算,優化內存或者存儲集群,然後進行迭代。

看看你的代碼工作,從一個小的數據集在單個節點上是最佳實踐。

[Hubert_Dudek1]

偉大的文章。在未來serverless選項將使新手更容易。

[Kaniz]

嗨@Karina她,我們還沒有收到你最後的回應@Ralph大衛拉各斯和@YOHAN Baselto,我檢查看看他們的建議幫助你。否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。