我如何安裝一個非python / R / maven / jar庫到一個集群?

[布拉德利]

我想安裝一個非標準包到集群使用init腳本。我要安裝的軟件包需要下載使用wget,使用焦油和未壓縮的。然後添加到路徑,或者至少我需要知道在哪裏下載的文件。

這裏有我的init腳本的內容:

wgethttps://github.com/COMBINE-lab/salmon/releases/download/v1.8.0/salmon-1.8.0_linux_x86_64.tar.gz焦油xzvf salmon-1.8.0_linux_x86_64.tar。廣州SALMON_PATH = $(指向- f / salmon-1.8.0_linux_x86_64 / bin /)出口路徑=“SALMON_PATH:美元路徑”

但這不是工作,至少在一個筆記本。

[布拉德利]

謝謝你的支持。是的,我能夠找到一個真正有效的解決方案。

1. 我把文件到分布式文件係統,dbfs。對另一些人來說,這可以使用磚cli的手動完成,或使用init腳本。在這種情況下,我發現它更容易使用磚cli。
2. 我附加二進製文件的路徑到OS環境路徑。我使用python,所以對我來說,是這樣的:

操作係統。環境(“路徑”)+ =”:/ dbfs / FileStore /鮭魚/ bin / '

這就是它!我保存文件路徑dataframe輸入數據,然後使用火花迭代整個行dataframe調用自定義函數的調用二進製文件。

[Kaniz]

嗨@Bradley賴特,謝謝你與社區共享的解決方案。請接受我深深的謝意。你介意標記為我們最好的答案嗎?

[Prabakar]

我很高興我的建議為你添加了一些指針來解決這個問題。