pyspark.SparkConf¶
-
類
pyspark。SparkConf( loadDefaults:bool=真正的,_jvm:可選(py4j.java_gateway.JVMView]=沒有一個,_jconf:可選(py4j.java_gateway.JavaObject]=沒有一個 ) ¶ -
為火花應用程序配置。用於設置各種火花參數鍵值對。
大多數時候,您將創建一個SparkConf對象
SparkConf ()將負載值火花。*Java係統屬性。在這種情況下,直接在任何參數設置SparkConf在係統屬性對象優先。對於單元測試,您還可以打電話
SparkConf(假)跳過加載外部設置和獲得相同的配置無論係統屬性是什麼。這個類中的所有setter方法支持鏈接。例如,您可以編寫
conf.setMaster .setAppName(“我的(“本地”)應用程序”)。- 參數
-
- loadDefaults bool
-
是否加載來自Java係統屬性的值(真默認情況下)
- _jvm 類:py4j.java_gateway.JVMView
-
內部參數用來傳遞處理Java虛擬機;不需要設定的用戶
- _jconf 類:py4j.java_gateway.JavaObject
-
可以通過在現有SparkConf處理利用其參數
筆記
一旦SparkConf對象傳遞給火花,克隆,用戶不能修改。
例子
> > >從pyspark.conf進口SparkConf> > >從pyspark.context進口SparkContext> > >相依=SparkConf()> > >相依。setMaster(“本地”)。setAppName(“我的應用”)< pyspark.conf。SparkConfobject at ...>> > >相依。得到(“spark.master”)“本地”> > >相依。得到(“spark.app.name”)“我的應用”> > >sc=SparkContext(相依=相依)> > >sc。主“本地”> > >sc。瀏覽器名稱“我的應用”> > >sc。sparkHome是沒有一個真正的
> > >相依=SparkConf(loadDefaults=假)> > >相依。setSparkHome(“/路徑”)< pyspark.conf。SparkConfobject at ...>> > >相依。得到(“spark.home”)“/路徑”> > >相依。setExecutorEnv(“VAR1”,“value1”)< pyspark.conf。SparkConfobject at ...>> > >相依。setExecutorEnv(雙=((“VAR3”,“value3”),(“VAR4”,“value4”)))< pyspark.conf。SparkConfobject at ...>> > >相依。得到(“spark.executorEnv.VAR1”)“value1”> > >打印(相依。toDebugString())spark.executorEnv.VAR1 = value1spark.executorEnv.VAR3 = value3spark.executorEnv.VAR4 = value4spark.home = /路徑> > >為p在排序(相依。getAll(),關鍵=λp:p(0):…打印(p)(“spark.executorEnv。VAR1”、“value1”)(“spark.executorEnv。VAR3”、“value3”)(“spark.executorEnv。VAR4”、“value4”)(“火花。家”、“/路徑”)> > >相依。_jconf。setExecutorEnv(“VAR5”,“value5”)JavaObject id…> > >打印(相依。toDebugString())spark.executorEnv.VAR1 = value1spark.executorEnv.VAR3 = value3spark.executorEnv.VAR4 = value4spark.executorEnv.VAR5 = value5spark.home = /路徑
方法
包含(關鍵)該配置包含一個給定的鍵嗎?
得到(關鍵[defaultValue])一些關鍵的配置值,或返回一個默認。
getAll()把所有值作為鍵值對列表。
集(關鍵字,值)設置一個配置屬性。
setAll(雙)設置多個參數,通過一個鍵值對列表。
setAppName(值)設置應用程序名稱。
setExecutorEnv((關鍵字,值,對))設置一個環境變量傳遞給執行器。
setIfMissing(關鍵字,值)設置一個配置屬性,如果不是已經設置。
setMaster(值)設置主要連接的URL。
setSparkHome(值)工作者節點上設置安裝路徑,火花。
返回一個可打印版的配置,作為鍵=值對列表,每行一個。