替換默認庫jar

磚包含一個默認的Java和Scala庫的數量。你可以替換任何使用這些庫和另一個版本集群級init腳本刪除默認庫jar,然後安裝你需要的版本。

重要的

刪除默認庫和安裝新版本可能會導致不穩定或完全打破你的磚集群。你應該徹底地測試任何新的庫版本之前在您的環境中運行的生產工作。

確定工件id

識別jar文件的名稱你想刪除:

  1. 單擊數據磚從列表中您正在使用的運行時版本支持的版本。
  2. 導航到Java和Scala庫部分。
  3. 識別工件ID你想要刪除的圖書館。

使用工件id找到jar文件名

使用ls- l命令在一個筆記本找到jar包含工件id。例如,找到的jar文件名spark-snowflake_2.12工件id在磚7.0運行時您可以使用下麵的代碼:

%上海ls- - - - - -l/磚/罐子/ * spark-snowflake_2.12 *

這將返回jar文件名

”————workspace_spark_3_0 maven-trees——蜂巢2.7 - 2.3 __hadoop net.snowflake——spark-snowflake_2.12 net.snowflake__spark-snowflake_2.12__2.5.9-spark_2.4.jar”。

上傳替換jar文件

上傳你DBFS路徑替換jar文件。

創建初始化腳本

使用以下模板來創建一個集群級init腳本。

# ! / bin / bashrm- - - - - -射頻/磚/罐子/ <jar_filename_to_remove>。jarcp/dbfs/ <path_to_replacement_jar> / <replacement_jar_filename>。jar/磚/罐子/

使用spark-snowflake_2.12之前的例子一步將導致一個init腳本類似如下:

# ! / bin / bashrm- - - - - -射頻/磚/罐子/ - - - - -workspace_spark_3_0- - -maven- - - - - -樹- - -蜂巢- - - - - -2.3 __hadoop- - - - - -2.7- - -淨。雪花- - -火花- - - - - -snowflake_2點- - -淨。snowflake__spark- - - - - -snowflake_2.12__2.5.9- - - - - -spark_2。4。jarcp/dbfs/FileStore/罐子/e43fe9db_c48d_412b_b142_cdde10250800- - - - - -spark_snowflake_2_11_2_7_1_spark_2_4- - - - - -b2adc。jar/磚/罐子/

安裝初始化腳本並重啟

  1. 在集群上安裝集群級init腳本,下麵的指令配置一個集群級init腳本。
  2. 重新啟動集群。