12-27-2022上午03:12
好處,使用矢量化熊貓udf代替標準Pyspark udf嗎?
12-27-202208:41點
請通過這個-https://docs.www.eheci.com/udf/index.html
12-27-2022下午09:07
我已經讀過,但是我沒有顯示的好處使用矢量化熊貓udf代替標準Pyspark udf。
請幫我解釋! ! !非常感謝。
01-02-202306:17我
pandas_udf優化和更快的分組操作,如應用pandas_udf groupBy之後。分組允許熊貓執行矢量化操作,將速度比正常的udf。a * b等正常情況下,一個正常的火花udf就足夠了,速度更快。
https://bryancutler.github.io/vectorizedUDFs/
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。