我試圖加載一個簡單的Minmaxscaler模型被記錄為運行通過火花的ML管道api以便重用。平均隻需要40 +秒加載模型與下麵的例子:
這是罰款和模型轉換我的數據正確,但我有一個工作時間表運行實時應用程序和隨機簡單模型加載需要近3分鍾加載一些如下的輸出顯示了運行:
我也嚐試加載與pyfunc火花,但它並沒有幫助。我運行工作安排在一個通用計算AWS i3司機集群4 i3工人24/7,和3分鍾加載模型實時不會滿足我的需求。從模型加載很慢,我決定嚐試“模型服務”。
接下來,我點擊“注冊模式”,然後嚐試模型實時服務解決方案需求,跑到一個單獨的問題在init conda環境創建失敗,因為失敗的火花。我證實模型直接從加載運行時,但模型服務失敗後,盡管指導和簡單地按下“支持服務”從模型中注冊的用戶界麵。完整的日誌下麵附從模型服務的UI,但錯誤是這樣的:
”
未能建立pyspark
…
pip安裝期間Conda環境創建失敗!參見上麵的錯誤。
”
我需要這兩個問題得到解決,以滿足我的應用程序的實時需求:加載更快和更一致的模型或模型提供實際工作和不失敗。
