org。apache。火花

SparkConf

類SparkConf擴展可克隆與日誌記錄與可序列化的

為火花應用程序配置。用於設置各種火花參數鍵值對。

大多數時候,您將創建一個SparkConf對象新的SparkConf (),這將從任何負載值火花。*Java係統屬性設置在您的應用程序。在這種情況下,直接在設置參數SparkConf在係統屬性對象優先。

對於單元測試,您還可以打電話新SparkConf(假)跳過加載外部設置和獲得相同的配置無論係統屬性是什麼。

這個類中的所有setter方法支持鏈接。例如,您可以編寫新的SparkConf () .setMaster(“本地”)。setAppName(“我的應用”)。

請注意: 一旦SparkConf對象傳遞給火花,克隆,用戶不能修改。火花不支持在運行時修改配置。

線性超

可序列化的,可序列化的,日誌記錄,可克隆,可克隆,AnyRef,任何

訂購

字母
通過繼承

繼承了

SparkConf
可序列化的
可序列化的
日誌記錄
可克隆
可克隆
AnyRef
任何

隱藏所有
顯示所有

可見性

公共
所有

實例構造函數

新SparkConf()
創建一個加載默認的SparkConf係統屬性和類路徑中
新SparkConf(loadDefaults:布爾)

loadDefaults

從Java係統屬性是否也負載值

值的成員

最後def! =(arg0:任何):布爾

定義類

AnyRef→任何
最後def# #():Int

定義類

AnyRef→任何
最後def= =(arg0:任何):布爾

定義類

AnyRef→任何
最後defasInstanceOf(T0]:T0

定義類

任何
def克隆():SparkConf
複製這個對象

複製這個對象

定義類

SparkConf→AnyRef
def包含(關鍵:字符串):布爾
配置包含一個給定的參數嗎?
最後def情商(arg0:AnyRef):布爾

定義類

AnyRef
def=(arg0:任何):布爾

定義類

AnyRef→任何
def完成():單位

屬性

保護(朗]

定義類

AnyRef

注釋

@throws (名為[java.lang.Throwable] classOf)
def得到(關鍵:字符串,defaultValue:字符串):字符串
得到一個參數,默認如果不設置
def得到(關鍵:字符串):字符串
得到一個參數;拋出一個NoSuchElementException如果不設置
defgetAll:數組((字符串,字符串)]
得到所有參數對的列表
defgetAllWithPrefix(前綴:字符串):數組((字符串,字符串)]
把所有的參數前綴
defgetAppId:字符串
返回應用程序id,有效TaskScheduler後的司機從一開始注冊和執行者。
defgetAvroSchema:地圖(長,字符串]
得到所有avro模式在配置中使用通用avro記錄序列化器
defgetBoolean(關鍵:字符串,defaultValue:布爾):布爾
作為一個布爾參數,回落如果沒有設置默認

作為一個布爾參數,回落如果沒有設置默認

拋出的異常

IllegalArgumentException如果該值不能被解釋為一個布爾值
最後defgetClass():類(_)

定義類

AnyRef→任何

注釋

@native ()
def用(關鍵:字符串,defaultValue:雙):雙
得到一個參數作為一個雙,回到默認的如果不是ste下降

得到一個參數作為一個雙,回到默認的如果不是ste下降

拋出的異常

NumberFormatException如果該值不能被解釋成雙
defgetExecutorEnv:Seq((字符串,字符串)]
在這SparkConf獲取所有執行者環境變量設置
defgetInt(關鍵:字符串,defaultValue:Int):Int
得到一個參數為整數,回落到默認如果不設置

得到一個參數為整數,回落到默認如果不設置

拋出的異常

NumberFormatException如果該值不能被解釋為一個整數
defgetLong(關鍵:字符串,defaultValue:長):長
得到一個參數作為長,回落到默認如果不設置

得到一個參數作為長,回落到默認如果不設置

拋出的異常

NumberFormatException如果該值不能被解釋為長
defgetOption(關鍵:字符串):選項(字符串]
得到一個參數作為一個選項
defgetSizeAsBytes(關鍵:字符串,defaultValue:長):長
大小參數字節,回落到默認如果不設置。

大小參數字節,回落到默認如果不設置。

拋出的異常

NumberFormatException如果該值不能被解釋為字節
defgetSizeAsBytes(關鍵:字符串,defaultValue:字符串):長
大小參數字節,回落到默認如果不設置。

大小參數字節,回落到默認如果不設置。如果沒有提供後綴然後字節被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為字節
defgetSizeAsBytes(關鍵:字符串):長
得到一個字節大小參數;拋出一個NoSuchElementException如果不設置。

得到一個字節大小參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後字節被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為字節

java.util.NoSuchElementException如果尺寸參數沒有設置
defgetSizeAsGb(關鍵:字符串,defaultValue:字符串):長
尺寸參數作為gibibyte,回落到默認如果不設置。

尺寸參數作為gibibyte,回落到默認如果不設置。如果沒有提供後綴然後gibibyte被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為gibibyte
defgetSizeAsGb(關鍵:字符串):長
gibibyte尺寸參數;拋出一個NoSuchElementException如果不設置。

gibibyte尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後gibibyte被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為gibibyte

java.util.NoSuchElementException如果尺寸參數沒有設置
defgetSizeAsKb(關鍵:字符串,defaultValue:字符串):長
尺寸參數作為Kibibytes,回落到默認如果不設置。

尺寸參數作為Kibibytes,回落到默認如果不設置。如果沒有提供後綴然後Kibibytes被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為Kibibytes
defgetSizeAsKb(關鍵:字符串):長
Kibibytes尺寸參數;拋出一個NoSuchElementException如果不設置。

Kibibytes尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後Kibibytes被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為Kibibytes

java.util.NoSuchElementException如果尺寸參數沒有設置
defgetSizeAsMb(關鍵:字符串,defaultValue:字符串):長
尺寸參數作為對齊mebibyte,回落到默認如果不設置。

尺寸參數作為對齊mebibyte,回落到默認如果不設置。如果沒有提供後綴然後對齊mebibyte被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為對齊mebibyte
defgetSizeAsMb(關鍵:字符串):長
對齊mebibyte尺寸參數;拋出一個NoSuchElementException如果不設置。

對齊mebibyte尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後對齊mebibyte被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為對齊mebibyte

java.util.NoSuchElementException如果尺寸參數沒有設置
defgetTimeAsMs(關鍵:字符串,defaultValue:字符串):長
得到一個時間參數毫秒,回落到默認如果不設置。

得到一個時間參數毫秒,回落到默認如果不設置。如果沒有提供後綴那麼毫秒。

拋出的異常

NumberFormatException如果該值不能被解釋為毫秒
defgetTimeAsMs(關鍵:字符串):長
得到一個毫秒時間參數;拋出一個NoSuchElementException如果不設置。

得到一個毫秒時間參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴那麼毫秒。

拋出的異常

NumberFormatException如果該值不能被解釋為毫秒

java.util.NoSuchElementException如果沒有設置時間參數
defgetTimeAsSeconds(關鍵:字符串,defaultValue:字符串):長
得到一個時間參數為秒,回到默認如果不設置。

得到一個時間參數為秒,回到默認如果不設置。如果沒有提供後綴然後秒被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為秒
defgetTimeAsSeconds(關鍵:字符串):長
得到一個時間參數作為秒;拋出一個NoSuchElementException如果不設置。

得到一個時間參數作為秒;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後秒被假定。

拋出的異常

NumberFormatException如果該值不能被解釋為秒

java.util.NoSuchElementException如果沒有設置時間參數
defhashCode():Int

定義類

AnyRef→任何

注釋

@native ()
definitializeLogIfNecessary(isInterpreter:布爾,沉默:布爾):布爾

屬性

受保護的

定義類

日誌記錄
definitializeLogIfNecessary(isInterpreter:布爾):單位

屬性

受保護的

定義類

日誌記錄
最後defisInstanceOf(T0]:布爾

定義類

任何
defisTraceEnabled():布爾

屬性

受保護的

定義類

日誌記錄
def日誌:日誌記錄器

屬性

受保護的

定義類

日誌記錄
deflogDebug(味精:⇒字符串,throwable:Throwable):單位

屬性

受保護的

定義類

日誌記錄
deflogDebug(味精:⇒字符串):單位

屬性

受保護的

定義類

日誌記錄
deflogError(味精:⇒字符串,throwable:Throwable):單位

屬性

受保護的

定義類

日誌記錄
deflogError(味精:⇒字符串):單位

屬性

受保護的

定義類

日誌記錄
deflogInfo(味精:⇒字符串,throwable:Throwable):單位

屬性

受保護的

定義類

日誌記錄
deflogInfo(味精:⇒字符串):單位

屬性

受保護的

定義類

日誌記錄
deflogName:字符串

屬性

受保護的

定義類

日誌記錄
deflogTrace(味精:⇒字符串,throwable:Throwable):單位

屬性

受保護的

定義類

日誌記錄
deflogTrace(味精:⇒字符串):單位

屬性

受保護的

定義類

日誌記錄
deflogWarning(味精:⇒字符串,throwable:Throwable):單位

屬性

受保護的

定義類

日誌記錄
deflogWarning(味精:⇒字符串):單位

屬性

受保護的

定義類

日誌記錄
最後def不(arg0:AnyRef):布爾

定義類

AnyRef
最後def通知():單位

定義類

AnyRef

注釋

@native ()
最後defnotifyAll():單位

定義類

AnyRef

注釋

@native ()
defregisterAvroSchemas(模式:模式*):SparkConf
使用Kryo序列化和注冊Avro的既定模式,通用記錄序列化器可以減少網絡IO
defregisterKryoClasses(類:數組(類[_]]):SparkConf
使用Kryo序列化和Kryo登記給定的一組類。

使用Kryo序列化和Kryo登記給定的一組類。如果多次調用,這將添加一起調用的類。
def刪除(關鍵:字符串):SparkConf
刪除配置的一個參數
def集(關鍵:字符串,值:字符串):SparkConf
設置一個配置變量。
defsetAll(設置:Iterable((字符串,字符串)]):SparkConf
設置多個參數一起
defsetAppName(名稱:字符串):SparkConf
設置一個名稱為您的應用程序。

設置一個名稱為您的應用程序。火花web UI中顯示。
defsetExecutorEnv(變量:數組((字符串,字符串)]):SparkConf
將多個環境變量設置為啟動時使用執行人。

將多個環境變量設置為啟動時使用執行人。(java友好的版本)。
defsetExecutorEnv(變量:Seq((字符串,字符串)]):SparkConf
將多個環境變量設置為啟動時使用執行人。

將多個環境變量設置為啟動時使用執行人。這些變量是存儲為屬性的spark.executorEnv形式。VAR_NAME(例如spark.executorEnv.PATH),但這種方法使他們更容易設置。
defsetExecutorEnv(變量:字符串,值:字符串):SparkConf
設置一個環境變量為這個應用程序啟動時使用的執行人。

設置一個環境變量為這個應用程序啟動時使用的執行人。這些變量是存儲為屬性的spark.executorEnv形式。VAR_NAME(例如spark.executorEnv.PATH),但這種方法使他們更容易設置。
defsetIfMissing(關鍵:字符串,值:字符串):SparkConf
如果不是已經配置設置一個參數
defsetJars(jar:數組(字符串]):SparkConf
將JAR文件分發到集群。

將JAR文件分發到集群。(java友好的版本)。
defsetJars(jar:Seq(字符串]):SparkConf
將JAR文件分發到集群。
defsetMaster(主:字符串):SparkConf
主人要連接的URL,比如“本地”和一個線程本地運行,“當地[4]“本地運行4核,或“火花:/ /主:7077”火花獨立集群上運行。
defsetSparkHome(家:字符串):SparkConf
設置位置引發工人節點上安裝。
最後def同步(T0](arg0:⇒T0):T0

定義類

AnyRef
deftoDebugString:字符串
返回一個字符串列出所有鍵和值,每行一個。

返回一個字符串列出所有鍵和值,每行一個。這是有用的打印配置調試。
deftoString():字符串

定義類

AnyRef→任何
最後def等待():單位

定義類

AnyRef

注釋

@throws (…)
最後def等待(arg0:長,__arg1:Int):單位

定義類

AnyRef

注釋

@throws (…)
最後def等待(arg0:長):單位

定義類

AnyRef

注釋

@throws (…) @native ()

包

SparkConf

類SparkConf擴展可克隆與日誌記錄與可序列化的

實例構造函數

值的成員

繼承自可序列化的

繼承自可序列化的

繼承自日誌記錄

繼承自可克隆

繼承自可克隆

繼承自AnyRef

繼承自任何

未分組的

包

SparkConf

類SparkConf擴展可克隆與日誌記錄與可序列化的

實例構造函數

值的成員

繼承自可序列化的

繼承自可序列化的

繼承自日誌記錄

繼承自可克隆

繼承自可克隆

繼承自AnyRef

繼承自任何

未分組的

SparkConf