這裏有一些模型我創建了:
類SomeModel (mlflow.pyfunc.PythonModel): def預測(自我、上下文、輸入):#做花式毫升東西#日誌結果pandas_df = pd.DataFrame (…插入預測這裏…)spark_df = spark.createDataFrame spark_df.write (pandas_df)。saveAsTable(“表”,模式=“追加”)
我想記錄我的模型以這種方式通過調用後來在我的代碼:
mlflow.start_run (run_name = " SomeModel_run "):模型= SomeModel mlflow.pyfunc ()。log_model (somemodel python_model =模型)
不幸的是它給了我這個錯誤信息:
RuntimeError:看來你是試圖從廣播引用SparkContext變量,行動,或轉換。SparkContext隻能用於驅動程序,而不是在代碼上運行工人。有關更多信息,請參見火花- 5063。
這個錯誤是由於線造成的
mlflow.pyfunc。log_model (somemodel python_model =模型)
如果我評論一下我的模型將使其預測結果和日誌表。
另外,刪除線在我的預測功能,我叫火花來創建一個dataframe並保存表,我可以記錄我的模型。
我怎麼解決這個問題呢?我需要我的模型不僅寫表也被記錄
