我已經得到這個錯誤很經常與mlflow工作時:
“看來你是試圖從廣播引用SparkContext變量,行動,或轉換。SparkContext隻能用於驅動程序,而不是在代碼上運行工人。有關更多信息,請參見火花- 5063。”
我有一個類,它擴展了mlflow.pyfunc.PythonModel。它有一個方法,用於訓練數據(不用於預測),火花dataframe和一些過濾器適用於訓練數據集。隻有當我刪除這個函數模型保存。
我隻是想知道mlflow決定一個類訪問火花上下文。
編輯:這是真的很令人沮喪。感覺mlflow設計處理機器人時間意識到數據建模。
好的@Joseph Kambourakis我想我找到了一個辦法來解決以上問題。預測本身並不壞,因為我總是可以使用模型。預測功能就好了訪問特性存儲我的數據結構,和模型注冊中心樣板代碼不工作結構。
我有最大的問題是數據獲取過程是精確(比如五條件和幾個連接)。我做了一個字段密鑰的過濾器。不是很好,但它確實減少頭發在預測方麵的複雜性。
我仍然尋找答案如何磚決定如果一個模型的訪問引發上下文。