取消
顯示的結果
而不是尋找
你的意思是:

扔在Pyspark IndexoutofBound例外

Santhanalakshmi
新的貢獻者二世

你好所有的,

我試圖讀取數據並試圖組數據為了通過它通過@F預測函數。pandas_udf方法。

#加載模型pkl_model = pickle.load (open (filepath, rb)) #構建模式輸出標簽filter_schema = [] t = t。StructField (“anomaly_prediction T.IntegerType(),真的)filter_schema.append t1 = t (t)。StructField (“anomaly_score T.DoubleType(),真的)filter_schema.append (t1) return_schema = T.StructType (df.select (df.columns) .schema.fields + filter_schema) @F。pandas_udf (return_schema F.PandasUDFType.GROUPED_MAP) def inferdata(數據):dt =數據[labelnames] .to_numpy () # dt = np.asarray (dt) .astype (float64)得分,pred = pkl_model.predict (dt)打印(分數和預測是,分數,pred) [“anomaly_prediction”] = pred數據(“anomaly_score”) =分數返回(數據)df = df.groupby(文件名)蘋果(inferdata)打印(df.show (2))

但這是拋出一個錯誤:

" . lang。IndexOutOfBoundsException:指數:16384,長度:4(預期:範圍(0,16384))”

error_db

error_2_dberror_3_db

我有附加的代碼片段和錯誤圖片,供您參考。這個問題我一直堅持了一個星期。

誰能幫我解決這個問題嗎?

3回複3

AmanSehgal
尊敬的貢獻者三世

你可能不得不分享上麵的代碼單元。請粘貼代碼使用代碼編輯器,而不是作為一個圖像。

Santhanalakshmi
新的貢獻者二世

謝謝我有更新細胞中的代碼

Vindhya
新的貢獻者二世

@Santhanalakshmi Manoharan這個問題解決了,我也得到同樣的錯誤,任何指導將是很大的幫助。

感謝你的幫助。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map