得到火花& Scala版本集群節點初始化腳本

[ahuarte]

你好,

我開發一個集群節點初始化腳本(https://docs.gcp.www.eheci.com/clusters/init-scripts.html環境變量),以便安裝一些自定義庫。

閱讀的文檔數據磚我們可以得到一些環境變量與數據相關的當前運行的集群節點。

但我需要找出引發& Scala版本目前被部署。這是可能的嗎?

謝謝提前

問候

[ahuarte]

嗨@Prabakar Ammeappin非常感謝你的回應,

但我的意思是我如何得到這個信息在腳本中。我想開發這個sh init腳本幾個集群不同的磚運行時。

我試著搜索腳本文件,但是我沒有找到任何“* *的火花。jar”文件從哪裏提取當前版本的運行時(火花和Scala版本)。

當集群已經開始有這種模式的文件,但在當下,執行init腳本pyspark似乎還沒有安裝。

[ahuarte]

我知道磚CLI工具可用,但不是init腳本運行時配置。

[sean_owen · Accepted solution]

嗯,這是一個出租汽車司機的想法,也許有一個更好的辦法,但你可以

ls /磚/罐/火花*

和解析結果的火花和Scala版本。你會看到像火花——命令——command-spark_3.1_2.12_deploy文件。包含版本的jar。

[ahuarte]

嗨@Sean歐文由於四個你的回複,

annihilate)你的想法可以工作,但有任何文件名與完整版的名字。我錯過了次要的部分:

yyyyyy_spark_3.2_2.12_xxxxx。jar - >版本是真的3.2.0火花

我已經配置了磚CLI的元數據集群的,我得到這個輸出:

{

:“cluster_id XXXXXXXXX”,

“spark_context_id”: YYYYYYYYYYYY,

:“cluster_name重擊——地理空間”,

:“spark_version 10.1.x-cpu-ml-scala2.12”, # # < - - - - - - ! ! ! !

....

}

“spark_version”屬性不包含信息的火花版本但是DBR: -(,有什麼想法?

謝謝提前

問候

Alvaro

[sean_owen]

你需要這樣的特定的火花版本信息,為什麼?不應該對用戶應用程序很重要