雷集群作為一個庫而不是notebook-scoped庫

[美聯儲]

這篇文章正確地顯示安裝與%皮普的“雷”,盡管它沒有提及,作為集群安裝庫不能工作。

我認為,原因是“setup_ray_cluster”將使用的係統。可執行文件”(即“/ local_disk0 / .ephemeral_nfs / env / pythonEnv - {UUID} / bin / python”)start_ray_node.py,進而調用“雷”可執行的命令。

如果“雷”安裝“% pip”其可執行的命令將在相同的文件夾”係統。可執行的,所以,一切工作正常,但是如果射線”作為集群安裝庫(即在/ local_disk0 / .ephemeral_nfs / cluster_libraries / python的)然後找不到它。

我試著將它添加到路徑,但沒有工作

進口sys sys.path.append (“/ local_disk0 .ephemeral_nfs / cluster_libraries / python / bin”)

和更多的調試(在一個新的會話)

導入子流程導入係統導入操作係統打印(“/ local_disk0 /。ephemeral_nfs cluster_libraries / python / bin " sys.path) #假打印(“/ local_disk0 /。os.environ ephemeral_nfs cluster_libraries / python / bin”[“路徑”])#真正的打印(subprocess.run((“雷”,”——版本”),capture_output = True) .stdout.decode (“utf - 8”)) #雷,tripwire版本

[美聯儲 · Accepted solution]

醜,但這似乎工作

導入係統導入操作係統從ray.util進口shutil。火花進口setup_ray_cluster shutdown_ray_cluster shutil。(“/ local_disk0 /副本。ephemeral_nfs / cluster_libraries / python / bin /雷”,os.path.dirname (sys.executable)) setup_ray_cluster (num_worker_nodes = 4, num_cpus_per_node = 8, collect_log_to_path = / dbfs /線/日誌)