在筆記本中獲取並設置Apache Spark配置屬性

寫的mathan.pillai

最後發布時間:2022年5月26日

在大多數情況下，您設置火花配置（AWS|Azure)在集群級別。但是，在某些情況下，您可能需要在筆記本中檢查(或設置)特定Spark配置屬性的值。

本文向您展示如何在筆記本電腦中顯示Spark配置屬性的當前值。它還向您展示了如何在筆記本電腦中為Spark配置屬性設置一個新值。

獲取Spark配置屬性

得到a的當前值火花配置屬性，計算屬性時不包含值。

Python

% python spark.conf.get(“火花。< name-of-property >”)

R

SparkR .conf("spark.<屬性名稱>")

Scala

% scala spark.conf.get(“火花。< name-of-property >”)

SQL

%sql GET spark.<名稱-屬性>;

設置Spark配置屬性

若要設置Spark配置屬性的值，請計算該屬性並指定值。

刪除

信息

隻能設置以。開頭的Spark配置屬性spark.sql前綴。

Python

% python spark.conf.set(“spark.sql。< name-of-property >, <值>)

R

%r庫(SparkR) SparkR .session()session(sparkConfig = list(spark.sql)) = "")

Scala

% scala spark.conf.set(“spark.sql。< name-of-property >, <值>)

SQL

設置spark.sql。;

例子

的當前值spark.rpc.message.maxSize．

%sql SET spark.rpc.message.maxSize;

設置的值spark.sql.autoBroadcastJoinThreshold為1。

% python spark.conf.set(“spark.sql。autoBroadcastJoinThreshold”,1)