深度學習管道遷移指南

重要的

這個文檔已經退休了,可能不會被更新。產品、服務或技術中提到的這些內容不再支持。看到<新文章>。

這個頁麵包含小貼士從開源遷移深度學習管道包這是包含在磚運行時6.6毫升,下麵。深度學習的部分管道圖書館sparkdl被移除的磚運行時7.0毫升(不支持),具體來說,變壓器和估計中使用Apache火花毫升管道。

這個頁麵不是一個通用的信息資源深度學習管道磚。

讀取圖像

讀者深度學習管道包包含一個圖像sparkdl.image.imageIO,這是在刪除磚運行時7.0毫升(不支持)。

相反,使用圖像數據來源或二進製文件數據源從Apache火花。許多示例筆記本加載數據的機器學習和深度的學習展示這兩個數據源的用例。

轉移學習

深度學習管道包包括一個火花毫升變壓器sparkdl.DeepImageFeaturizer為促進轉移學習與深度學習模型。DeepImageFeaturizer被免職磚運行時7.0毫升(不支持)。

相反,使用熊貓udf執行featurization與深度學習模型。熊貓udf,他們的新變種標量迭代器熊貓udf,提供更靈活的api,支持更多的深度學習庫,並提供更好的性能。

看到Featurization轉移學習與熊貓udf轉移學習的例子。

分布式hyperparameter調優

深度學習管道包包括一個火花ML估計量sparkdl.KerasImageFileEstimator調優hyperparameters使用火花毫升調優工具。KerasImageFileEstimator被免職磚運行時7.0毫升(不支持)。

相反,使用與Hyperopt Hyperparameter調優分發hyperparameter優化深度學習模型。

分布式推理

深度學習管道包包括幾個火花毫升變壓器分布推斷,所有這一切被移除磚運行時7.0毫升(不支持):

  • DeepImagePredictor

  • TFImageTransformer

  • KerasImageFileTransformer

  • TFTransformer

  • KerasTransformer

相反,使用熊貓udf上運行推理引發DataFrames,下麵的示例部署模型推理和預測。

部署模型作為SQL udf

深度學習管道包包括一個實用程序sparkdl.udf.keras_image_model.registerKerasImageUDF深入學習模式部署為UDF調用從火花SQL。registerKerasImageUDF被免職磚運行時7.0毫升(不支持)。

相反,使用MLflow出口模型作為一個UDF,下麵的例子模型推理。