取消
顯示的結果
而不是尋找
你的意思是:

我怎麼能使用集群和密集的子流程調用自動定量嗎?

KellenO
新的貢獻者二世

我有一個自定義應用程序/可執行,我上傳DBFS和轉移集群執行的本地存儲。我想並行調用該應用程序的多個實例,我隻能夠成功地與Python的subprocess.Popen ()。然而,這樣做並不利用自動定量。

作為一個快速代碼的例子,我想做什麼:

ListOfCustomArguments =(“/道路/ / config1。txt”、“/路徑/ / config2。txt”】#數以百計的自定義配置過程=[]參數在ListOfCustomArguments:命令= " /道路/ /可執行”+ arg processes.append(子流程。Popen(命令shell = True))的p過程:p.wait()打印(“完成了!”)

是,這並不會自動擴展。什麼好主意嗎?

1接受解決方案

接受的解決方案

匿名
不適用

自動定量隻適用於火花工作。它通過監測作業隊列,python代碼不會進入。如果它是python代碼,試著單節點。

https://docs.www.eheci.com/clusters/configure.html cluster-size-and-autoscaling

在原帖子查看解決方案

2回答2

匿名
不適用

自動定量隻適用於火花工作。它通過監測作業隊列,python代碼不會進入。如果它是python代碼,試著單節點。

https://docs.www.eheci.com/clusters/configure.html cluster-size-and-autoscaling

很好的反應@Joseph Kambourakis

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map