取消
顯示的結果
而不是尋找
你的意思是:

好處,使用矢量化熊貓udf代替標準Pyspark udf嗎?

pvm26042000
新的貢獻者三世

好處,使用矢量化熊貓udf代替標準Pyspark udf嗎?

3回複3

Aviral-Bhardwaj
尊敬的貢獻者三世

我已經讀過,但是我沒有顯示的好處使用矢量化熊貓udf代替標準Pyspark udf。

請幫我解釋! ! !非常感謝。

ramravi
因素二世

pandas_udf優化和更快的分組操作,如應用pandas_udf groupBy之後。分組允許熊貓執行矢量化操作,將速度比正常的udf。a * b等正常情況下,一個正常的火花udf就足夠了,速度更快。

https://bryancutler.github.io/vectorizedUDFs/

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map