我有一個自定義應用程序/可執行,我上傳DBFS和轉移集群執行的本地存儲。我想並行調用該應用程序的多個實例,我隻能夠成功地與Python的subprocess.Popen ()。然而,這樣做並不利用自動定量。
作為一個快速代碼的例子,我想做什麼:
ListOfCustomArguments =(“/道路/ / config1。txt”、“/路徑/ / config2。txt”】#數以百計的自定義配置過程=[]參數在ListOfCustomArguments:命令= " /道路/ /可執行”+ arg processes.append(子流程。Popen(命令shell = True))的p過程:p.wait()打印(“完成了!”)
是,這並不會自動擴展。什麼好主意嗎?
自動定量隻適用於火花工作。它通過監測作業隊列,python代碼不會進入。如果它是python代碼,試著單節點。
https://docs.www.eheci.com/clusters/configure.html cluster-size-and-autoscaling