我們正在努力構建一個基於PySpark內部使用情況。我們需要大量的預處理的數據。因此,為了迎合我們使用定製的火花毫升管道階段的轉換,需要做我們的數據並不是可用的pyspark.ml模塊。這些定製的預處理階段擴展估計,HasInput, HasOutput, MLWritable和MLReadable類即
從pyspark.ml。從pyspark.ml.param管道進口變壓器,估計量。共享進口HasInputCol HasOutputCol
我們可以使用它進行調優
hyperOpt
和train-evaluate整個數據。我們還在MLflow記錄模型。然而,當我們試圖加載的管道模型推斷,失敗是由於自定義階段的__init__ ()方法。我們不能理解為什麼在加載模型調用構造函數方法即使對象內的類變量已經安裝在培訓(擬合)階段。
這裏有一些定製變壓器的一部分,這是有問題:
這是我們麵臨錯誤的截圖:
如果有任何從事這種發展。
請幫助!這將是偉大的如果有人可以分享一些工作的例子。
