我怎麼能使用集群和密集的子流程調用自動定量嗎?

[KellenO]

我有一個自定義應用程序/可執行,我上傳DBFS和轉移集群執行的本地存儲。我想並行調用該應用程序的多個實例,我隻能夠成功地與Python的subprocess.Popen ()。然而,這樣做並不利用自動定量。

作為一個快速代碼的例子,我想做什麼:

ListOfCustomArguments =(“/道路/ / config1。txt”、“/路徑/ / config2。txt”】#數以百計的自定義配置過程=[]參數在ListOfCustomArguments:命令= " /道路/ /可執行”+ arg processes.append(子流程。Popen(命令shell = True))的p過程:p.wait()打印(“完成了!”)

是,這並不會自動擴展。什麼好主意嗎?

[匿名 · Accepted solution]

自動定量隻適用於火花工作。它通過監測作業隊列,python代碼不會進入。如果它是python代碼,試著單節點。

https://docs.www.eheci.com/clusters/configure.html cluster-size-and-autoscaling

[tunstila]

很好的反應@Joseph Kambourakis