在筆記本中獲取和設置Apache Spark配置屬性

寫的mathan.pillai

最後發布日期:2022年5月26日

在大多數情況下，設置火花配置（AWS|Azure)在集群級別。但是，在某些情況下，您可能需要檢查(或設置)筆記本中特定Spark配置屬性的值。

本文向您展示如何在筆記本中顯示Spark配置屬性的當前值。它還向您展示了如何為筆記本中的Spark配置屬性設置一個新值。

獲取Spark配置屬性

得到a的當前值火花配置屬性，在不包含值的情況下計算屬性。

Python

% python spark.conf.get(“火花。< name-of-property >”)

R

%r library(SparkR) SparkR .conf("spark.")

Scala

% scala spark.conf.get(“火花。< name-of-property >”)

SQL

sql GET spark.;

設置Spark配置屬性

若要設置Spark配置屬性的值，請計算該屬性並賦值。

刪除

信息

類型開頭的Spark配置屬性隻能設置spark.sql前綴。

Python

% python spark.conf.set(“spark.sql。< name-of-property >, <值>)

R

%r library(SparkR) SparkR .session()session(sparkConfig = list(spark.sql. sql. list) = ""))

Scala

% scala spark.conf.set(“spark.sql。< name-of-property >, <值>)

SQL

設置spark.sql。 = ;

例子

的當前值spark.rpc.message.maxSize．

%sql SET spark.rpc.message.maxSize;

設置的值spark.sql.autoBroadcastJoinThreshold為1。

% python spark.conf.set(“spark.sql。autoBroadcastJoinThreshold”,1)