我想用磚工人的工作節點上並行運行一個函數

[HamzaJosh]

我有一個函數進行api調用。我要並行運行這個函數可以使用磚工人集群並行地運行它。我有試過

與ThreadPoolExecutor執行人():

結果=執行人。船向一邊傾斜的地圖(getspeeddata)

運行函數但這並不利用工人和運行所有的司機。我怎樣使我的函數並行運行?

[Kaniz]

你好@HamzaJosh!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Hubert_Dudek1]

你好請UDF(用戶定義函數)和直接從dataframe比桶。

我已經和params dataframe url和udf負載反應比平台式結構對象和新列。

[werners1]

你要確保火花框架使用,而不僅僅是普通的python / scala。

所以一個UDF是路要走。

[HamzaJosh]

感謝休伯特和沃納響應。

請給我一些網址,顯示了如何創建UDF。我仍然需要使用threadpool嗎?我怎麼讓它使用UDF之後並行運行?

我是新手,需要的不僅僅是創建一個UDF。請幫助