性能pyspark dataframe使用@pandas_udf後非常緩慢

[RRO]

你好,

我目前工作與FBProphet時間序列預測。因為我有許多時間序列數據組(3000年~)我用@pandas_udf並行化培訓。

@pandas_udf(模式,PandasUDFType.GROUPED_MAP) def forecast_netprofit (prophtrain):……返回results_pd time_series_id_column_names = [‘Grp1’,‘Grp2’,‘Grp3]結果= (prophtrain .groupby (time_series_id_column_names)蘋果(forecast_netprofit))

現在每次我想顯示或做一些操作結果dataframe性能很低。例如:先顯示1000行時間約為6分鍾。

有原因的性能結果是如此的緩慢,我能解決這個問題嗎?

[werners1]

火花將運行在整個數據集在後台並返回1000行。所以它可能是,不一定是函數本身。

您可以測試到遠東從1000條記錄的數據集和應用功能。

[RRO]

好了,數據集有大約80.000行和12列,所以它不應該處理。我有不同的數據集,是比,可以在幾秒內顯示。這就是為什麼我認為它可能會以某種方式相關的函數…

[werners1]

可以,盡管它應該使用箭頭。

你用的是什麼版本的火花嗎?

[RRO]

磚的運行時版本:10.3毫升(包括Apache火花3.2.1之上,Scala 2.12)