類SparkConf擴展可克隆與日誌記錄與可序列化的
為火花應用程序配置。用於設置各種火花參數鍵值對。
大多數時候,您將創建一個SparkConf對象新的SparkConf ()
,這將從任何負載值火花。*
Java係統屬性設置在您的應用程序。在這種情況下,直接在設置參數SparkConf
在係統屬性對象優先。
對於單元測試,您還可以打電話新SparkConf(假)
跳過加載外部設置和獲得相同的配置無論係統屬性是什麼。
這個類中的所有setter方法支持鏈接。例如,您可以編寫新的SparkConf () .setMaster(“本地”)。setAppName(“我的應用”)
。
- 請注意
-
一旦SparkConf對象傳遞給火花,克隆,用戶不能修改。火花不支持在運行時修改配置。
- 字母
- 通過繼承
- SparkConf
- 可序列化的
- 可序列化的
- 日誌記錄
- 可克隆
- 可克隆
- AnyRef
- 任何
- 隱藏所有
- 顯示所有
- 公共
- 所有
實例構造函數
值的成員
- 最後def! =(arg0:任何):布爾
- 定義類
- AnyRef→任何
- 最後def# #():Int
- 定義類
- AnyRef→任何
- 最後def= =(arg0:任何):布爾
- 定義類
- AnyRef→任何
- 最後defasInstanceOf(T0]:T0
- 定義類
- 任何
- def克隆():SparkConf
複製這個對象
複製這個對象
- 定義類
- SparkConf→AnyRef
- def包含(關鍵:字符串):布爾
配置包含一個給定的參數嗎?
- 最後def情商(arg0:AnyRef):布爾
- 定義類
- AnyRef
- def=(arg0:任何):布爾
- 定義類
- AnyRef→任何
- def完成():單位
- 屬性
- 保護(朗]
- 定義類
- AnyRef
- 注釋
- @throws (名為[java.lang.Throwable] classOf)
- def得到(關鍵:字符串,defaultValue:字符串):字符串
得到一個參數,默認如果不設置
- def得到(關鍵:字符串):字符串
得到一個參數;拋出一個NoSuchElementException如果不設置
- defgetAll:數組((字符串,字符串)]
得到所有參數對的列表
- defgetAllWithPrefix(前綴:字符串):數組((字符串,字符串)]
把所有的參數
前綴
- defgetAppId:字符串
返回應用程序id,有效TaskScheduler後的司機從一開始注冊和執行者。
- defgetAvroSchema:地圖(長,字符串]
得到所有avro模式在配置中使用通用avro記錄序列化器
- defgetBoolean(關鍵:字符串,defaultValue:布爾):布爾
作為一個布爾參數,回落如果沒有設置默認
作為一個布爾參數,回落如果沒有設置默認
- 拋出的異常
-
IllegalArgumentException
如果該值不能被解釋為一個布爾值
- 最後defgetClass():類(_)
- 定義類
- AnyRef→任何
- 注釋
- @native ()
- def用(關鍵:字符串,defaultValue:雙):雙
得到一個參數作為一個雙,回到默認的如果不是ste下降
得到一個參數作為一個雙,回到默認的如果不是ste下降
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋成雙
- defgetExecutorEnv:Seq((字符串,字符串)]
在這SparkConf獲取所有執行者環境變量設置
- defgetInt(關鍵:字符串,defaultValue:Int):Int
得到一個參數為整數,回落到默認如果不設置
得到一個參數為整數,回落到默認如果不設置
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為一個整數
- defgetLong(關鍵:字符串,defaultValue:長):長
得到一個參數作為長,回落到默認如果不設置
得到一個參數作為長,回落到默認如果不設置
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為長
- defgetOption(關鍵:字符串):選項(字符串]
得到一個參數作為一個選項
- defgetSizeAsBytes(關鍵:字符串,defaultValue:長):長
大小參數字節,回落到默認如果不設置。
大小參數字節,回落到默認如果不設置。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為字節
- defgetSizeAsBytes(關鍵:字符串,defaultValue:字符串):長
大小參數字節,回落到默認如果不設置。
大小參數字節,回落到默認如果不設置。如果沒有提供後綴然後字節被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為字節
- defgetSizeAsBytes(關鍵:字符串):長
得到一個字節大小參數;拋出一個NoSuchElementException如果不設置。
得到一個字節大小參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後字節被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為字節java.util.NoSuchElementException
如果尺寸參數沒有設置
- defgetSizeAsGb(關鍵:字符串,defaultValue:字符串):長
尺寸參數作為gibibyte,回落到默認如果不設置。
尺寸參數作為gibibyte,回落到默認如果不設置。如果沒有提供後綴然後gibibyte被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為gibibyte
- defgetSizeAsGb(關鍵:字符串):長
gibibyte尺寸參數;拋出一個NoSuchElementException如果不設置。
gibibyte尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後gibibyte被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為gibibytejava.util.NoSuchElementException
如果尺寸參數沒有設置
- defgetSizeAsKb(關鍵:字符串,defaultValue:字符串):長
尺寸參數作為Kibibytes,回落到默認如果不設置。
尺寸參數作為Kibibytes,回落到默認如果不設置。如果沒有提供後綴然後Kibibytes被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為Kibibytes
- defgetSizeAsKb(關鍵:字符串):長
Kibibytes尺寸參數;拋出一個NoSuchElementException如果不設置。
Kibibytes尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後Kibibytes被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為Kibibytesjava.util.NoSuchElementException
如果尺寸參數沒有設置
- defgetSizeAsMb(關鍵:字符串,defaultValue:字符串):長
尺寸參數作為對齊mebibyte,回落到默認如果不設置。
尺寸參數作為對齊mebibyte,回落到默認如果不設置。如果沒有提供後綴然後對齊mebibyte被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為對齊mebibyte
- defgetSizeAsMb(關鍵:字符串):長
對齊mebibyte尺寸參數;拋出一個NoSuchElementException如果不設置。
對齊mebibyte尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後對齊mebibyte被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為對齊mebibytejava.util.NoSuchElementException
如果尺寸參數沒有設置
- defgetTimeAsMs(關鍵:字符串,defaultValue:字符串):長
得到一個時間參數毫秒,回落到默認如果不設置。
得到一個時間參數毫秒,回落到默認如果不設置。如果沒有提供後綴那麼毫秒。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為毫秒
- defgetTimeAsMs(關鍵:字符串):長
得到一個毫秒時間參數;拋出一個NoSuchElementException如果不設置。
得到一個毫秒時間參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴那麼毫秒。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為毫秒java.util.NoSuchElementException
如果沒有設置時間參數
- defgetTimeAsSeconds(關鍵:字符串,defaultValue:字符串):長
得到一個時間參數為秒,回到默認如果不設置。
得到一個時間參數為秒,回到默認如果不設置。如果沒有提供後綴然後秒被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為秒
- defgetTimeAsSeconds(關鍵:字符串):長
得到一個時間參數作為秒;拋出一個NoSuchElementException如果不設置。
得到一個時間參數作為秒;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後秒被假定。
- 拋出的異常
-
NumberFormatException
如果該值不能被解釋為秒java.util.NoSuchElementException
如果沒有設置時間參數
- defhashCode():Int
- 定義類
- AnyRef→任何
- 注釋
- @native ()
- definitializeLogIfNecessary(isInterpreter:布爾,沉默:布爾):布爾
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- definitializeLogIfNecessary(isInterpreter:布爾):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- 最後defisInstanceOf(T0]:布爾
- 定義類
- 任何
- defisTraceEnabled():布爾
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- def日誌:日誌記錄器
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogDebug(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogDebug(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogError(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogError(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogInfo(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogInfo(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogName:字符串
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogTrace(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogTrace(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogWarning(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogWarning(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- 最後def不(arg0:AnyRef):布爾
- 定義類
- AnyRef
- 最後def通知():單位
- 定義類
- AnyRef
- 注釋
- @native ()
- 最後defnotifyAll():單位
- 定義類
- AnyRef
- 注釋
- @native ()
- defregisterAvroSchemas(模式:模式*):SparkConf
使用Kryo序列化和注冊Avro的既定模式,通用記錄序列化器可以減少網絡IO
- defregisterKryoClasses(類:數組(類[_]]):SparkConf
使用Kryo序列化和Kryo登記給定的一組類。
使用Kryo序列化和Kryo登記給定的一組類。如果多次調用,這將添加一起調用的類。
- def刪除(關鍵:字符串):SparkConf
刪除配置的一個參數
- def集(關鍵:字符串,值:字符串):SparkConf
設置一個配置變量。
- defsetAll(設置:Iterable((字符串,字符串)]):SparkConf
設置多個參數一起
- defsetAppName(名稱:字符串):SparkConf
設置一個名稱為您的應用程序。
設置一個名稱為您的應用程序。火花web UI中顯示。
- defsetExecutorEnv(變量:數組((字符串,字符串)]):SparkConf
將多個環境變量設置為啟動時使用執行人。
將多個環境變量設置為啟動時使用執行人。(java友好的版本)。
- defsetExecutorEnv(變量:Seq((字符串,字符串)]):SparkConf
將多個環境變量設置為啟動時使用執行人。
將多個環境變量設置為啟動時使用執行人。這些變量是存儲為屬性的spark.executorEnv形式。VAR_NAME(例如spark.executorEnv.PATH),但這種方法使他們更容易設置。
- defsetExecutorEnv(變量:字符串,值:字符串):SparkConf
設置一個環境變量為這個應用程序啟動時使用的執行人。
設置一個環境變量為這個應用程序啟動時使用的執行人。這些變量是存儲為屬性的spark.executorEnv形式。VAR_NAME(例如spark.executorEnv.PATH),但這種方法使他們更容易設置。
- defsetIfMissing(關鍵:字符串,值:字符串):SparkConf
如果不是已經配置設置一個參數
- defsetJars(jar:數組(字符串]):SparkConf
將JAR文件分發到集群。
將JAR文件分發到集群。(java友好的版本)。
- defsetJars(jar:Seq(字符串]):SparkConf
將JAR文件分發到集群。
- defsetMaster(主:字符串):SparkConf
主人要連接的URL,比如“本地”和一個線程本地運行,“當地[4]“本地運行4核,或“火花:/ /主:7077”火花獨立集群上運行。
- defsetSparkHome(家:字符串):SparkConf
設置位置引發工人節點上安裝。
- 最後def同步(T0](arg0:⇒T0):T0
- 定義類
- AnyRef
- deftoDebugString:字符串
返回一個字符串列出所有鍵和值,每行一個。
返回一個字符串列出所有鍵和值,每行一個。這是有用的打印配置調試。
- deftoString():字符串
- 定義類
- AnyRef→任何
- 最後def等待():單位
- 定義類
- AnyRef
- 注釋
- @throws (…)
- 最後def等待(arg0:長,__arg1:Int):單位
- 定義類
- AnyRef
- 注釋
- @throws (…)
- 最後def等待(arg0:長):單位
- 定義類
- AnyRef
- 注釋
- @throws (…) @native ()