我隻是發現了一個解決方案。
今天,我打開Azure磚。當我導入的python庫。磚告訴我,toPandas()棄用,我建議使用toPandas。
下麵的解決方案工作原理:使用toPandas而不是toPandas ()
data =火花。sql(“選擇A_adjClose、AA_adjClose AAL_adjClose, AAP_adjClose, AAPL_adjClose deltabase。a_30min_delta deltabase。aa_30min_delta deltabase。aal_30min_delta deltabase。aap_30min_delta deltabase。aapl_30min_delta”)顯示(數據)spark.conf.set (“spark.sql.execution.arrow。啟用”、“真實”)data_pd = data.toPandas
然而,當我試圖計算百分比變化使用pct_change(),它不工作。還沒有投入pyspark.pandas pct_change ()
#這失敗因為pct_change()函數尚未投入pyspark。熊貓df_pct = data_pd.pct_change (1)
另一個解決方案是使用:pandas_api ()轉換的火花dataframe pandas-spark dataframe。
這允許我使用pct_change()轉換後引發dataframe pandas-spark dataframe
data_pd.pct_change data_pd = data.pandas_api () ()
來源:https://stackoverflow.com/questions/73061556/does-pyspark-pandas-support-pandas-pct-change-function/..。
