你好所有的,
我試圖讀取數據並試圖組數據為了通過它通過@F預測函數。pandas_udf方法。
#加載模型pkl_model = pickle.load (open (filepath, rb)) #構建模式輸出標簽filter_schema = [] t = t。StructField (“anomaly_prediction T.IntegerType(),真的)filter_schema.append t1 = t (t)。StructField (“anomaly_score T.DoubleType(),真的)filter_schema.append (t1) return_schema = T.StructType (df.select (df.columns) .schema.fields + filter_schema) @F。pandas_udf (return_schema F.PandasUDFType.GROUPED_MAP) def inferdata(數據):dt =數據[labelnames] .to_numpy () # dt = np.asarray (dt) .astype (float64)得分,pred = pkl_model.predict (dt)打印(分數和預測是,分數,pred) [“anomaly_prediction”] = pred數據(“anomaly_score”) =分數返回(數據)df = df.groupby(文件名)蘋果(inferdata)打印(df.show (2))
但這是拋出一個錯誤:
" . lang。IndexOutOfBoundsException:指數:16384,長度:4(預期:範圍(0,16384))”
我有附加的代碼片段和錯誤圖片,供您參考。這個問題我一直堅持了一個星期。
誰能幫我解決這個問題嗎?
謝謝我有更新細胞中的代碼