我如何受益於parallelisation當機器學習幹什麼?

[User16857281869]

原則上有四個不同的使用parallelisation做機器學習的方法。這些操作的組合可以大大加快整個管道。

1)工程中使用火花分布式處理功能

2)當你想訓練你的數據集模型是大而不能適應一個機器,你需要使用本地庫可以分發培訓。火花ML,或Horovod這種庫的示例

3)你可以訓練許多相同版本的模型在不同的數據集一次性使用熊貓UDF。像訓練模式對許多不同的商店,營銷窄花邊、傳感器等等

4)你訓練不同的模型在相同的數據集使用parallelisation hyperparameter搜索。

[sean_owen]

好的總結!是的這是我能想到的主要策略。