horovod.spark:分布式和Horovod深度學習
磚支持horovod.spark包,它提供了一個估計量的API,您可以使用與Keras和PyTorch毫升管道。有關詳細信息,請參見Horovod在火花,其中包括一段Horovod磚上。
請注意
磚安裝
horovod包和依賴關係。如果你升級或降級這些依賴項,可能存在兼容性問題。當使用
horovod.spark在Keras使用自定義回調,你必須保存模型TensorFlow SavedModel格式。與TensorFlow 2。x,使用
.tf文件名後綴。與TensorFlow 1。x,設置選項
save_weights_only = True。