c

orgapache火花

SparkConf

SparkConf擴展可克隆日誌記錄可序列化的

為火花應用程序配置。用於設置各種火花參數鍵值對。

大多數時候,您將創建一個SparkConf對象新的SparkConf (),這將從任何負載值火花。*Java係統屬性設置在您的應用程序。在這種情況下,直接在設置參數SparkConf在係統屬性對象優先。

對於單元測試,您還可以打電話新SparkConf(假)跳過加載外部設置和獲得相同的配置無論係統屬性是什麼。

這個類中的所有setter方法支持鏈接。例如,您可以編寫新的SparkConf () .setMaster(“本地”)。setAppName(“我的應用”)

請注意

一旦SparkConf對象傳遞給火花,克隆,用戶不能修改。火花不支持在運行時修改配置。

線性超
可序列化的,可序列化的,日誌記錄,可克隆,可克隆,AnyRef,任何
訂購
  1. 字母
  2. 通過繼承
繼承了
  1. SparkConf
  2. 可序列化的
  3. 可序列化的
  4. 日誌記錄
  5. 可克隆
  6. 可克隆
  7. AnyRef
  8. 任何
  1. 隱藏所有
  2. 顯示所有
可見性
  1. 公共
  2. 所有

實例構造函數

  1. SparkConf()

    創建一個加載默認的SparkConf係統屬性和類路徑中

  2. SparkConf(loadDefaults:布爾)

    loadDefaults

    從Java係統屬性是否也負載值

值的成員

  1. 最後def! =(arg0:任何):布爾
    定義類
    AnyRef→任何
  2. 最後def# #():Int
    定義類
    AnyRef→任何
  3. 最後def= =(arg0:任何):布爾
    定義類
    AnyRef→任何
  4. 最後defasInstanceOf(T0]:T0
    定義類
    任何
  5. def克隆():SparkConf

    複製這個對象

    複製這個對象

    定義類
    SparkConf→AnyRef
  6. def包含(關鍵:字符串):布爾

    配置包含一個給定的參數嗎?

  7. 最後def情商(arg0:AnyRef):布爾
    定義類
    AnyRef
  8. def=(arg0:任何):布爾
    定義類
    AnyRef→任何
  9. def完成():單位
    屬性
    保護(]
    定義類
    AnyRef
    注釋
    @throws (名為[java.lang.Throwable] classOf)
  10. def得到(關鍵:字符串,defaultValue:字符串):字符串

    得到一個參數,默認如果不設置

  11. def得到(關鍵:字符串):字符串

    得到一個參數;拋出一個NoSuchElementException如果不設置

  12. defgetAll:數組((字符串,字符串)]

    得到所有參數對的列表

  13. defgetAllWithPrefix(前綴:字符串):數組((字符串,字符串)]

    把所有的參數前綴

  14. defgetAppId:字符串

    返回應用程序id,有效TaskScheduler後的司機從一開始注冊和執行者。

  15. defgetAvroSchema:地圖(,字符串]

    得到所有avro模式在配置中使用通用avro記錄序列化器

  16. defgetBoolean(關鍵:字符串,defaultValue:布爾):布爾

    作為一個布爾參數,回落如果沒有設置默認

    作為一個布爾參數,回落如果沒有設置默認

    拋出的異常

    IllegalArgumentException如果該值不能被解釋為一個布爾值

  17. 最後defgetClass():(_)
    定義類
    AnyRef→任何
    注釋
    @native ()
  18. def(關鍵:字符串,defaultValue:):

    得到一個參數作為一個雙,回到默認的如果不是ste下降

    得到一個參數作為一個雙,回到默認的如果不是ste下降

    拋出的異常

    NumberFormatException如果該值不能被解釋成雙

  19. defgetExecutorEnv:Seq((字符串,字符串)]

    在這SparkConf獲取所有執行者環境變量設置

  20. defgetInt(關鍵:字符串,defaultValue:Int):Int

    得到一個參數為整數,回落到默認如果不設置

    得到一個參數為整數,回落到默認如果不設置

    拋出的異常

    NumberFormatException如果該值不能被解釋為一個整數

  21. defgetLong(關鍵:字符串,defaultValue:):

    得到一個參數作為長,回落到默認如果不設置

    得到一個參數作為長,回落到默認如果不設置

    拋出的異常

    NumberFormatException如果該值不能被解釋為長

  22. defgetOption(關鍵:字符串):選項(字符串]

    得到一個參數作為一個選項

  23. defgetSizeAsBytes(關鍵:字符串,defaultValue:):

    大小參數字節,回落到默認如果不設置。

    大小參數字節,回落到默認如果不設置。

    拋出的異常

    NumberFormatException如果該值不能被解釋為字節

  24. defgetSizeAsBytes(關鍵:字符串,defaultValue:字符串):

    大小參數字節,回落到默認如果不設置。

    大小參數字節,回落到默認如果不設置。如果沒有提供後綴然後字節被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為字節

  25. defgetSizeAsBytes(關鍵:字符串):

    得到一個字節大小參數;拋出一個NoSuchElementException如果不設置。

    得到一個字節大小參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後字節被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為字節

    java.util.NoSuchElementException如果尺寸參數沒有設置

  26. defgetSizeAsGb(關鍵:字符串,defaultValue:字符串):

    尺寸參數作為gibibyte,回落到默認如果不設置。

    尺寸參數作為gibibyte,回落到默認如果不設置。如果沒有提供後綴然後gibibyte被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為gibibyte

  27. defgetSizeAsGb(關鍵:字符串):

    gibibyte尺寸參數;拋出一個NoSuchElementException如果不設置。

    gibibyte尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後gibibyte被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為gibibyte

    java.util.NoSuchElementException如果尺寸參數沒有設置

  28. defgetSizeAsKb(關鍵:字符串,defaultValue:字符串):

    尺寸參數作為Kibibytes,回落到默認如果不設置。

    尺寸參數作為Kibibytes,回落到默認如果不設置。如果沒有提供後綴然後Kibibytes被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為Kibibytes

  29. defgetSizeAsKb(關鍵:字符串):

    Kibibytes尺寸參數;拋出一個NoSuchElementException如果不設置。

    Kibibytes尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後Kibibytes被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為Kibibytes

    java.util.NoSuchElementException如果尺寸參數沒有設置

  30. defgetSizeAsMb(關鍵:字符串,defaultValue:字符串):

    尺寸參數作為對齊mebibyte,回落到默認如果不設置。

    尺寸參數作為對齊mebibyte,回落到默認如果不設置。如果沒有提供後綴然後對齊mebibyte被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為對齊mebibyte

  31. defgetSizeAsMb(關鍵:字符串):

    對齊mebibyte尺寸參數;拋出一個NoSuchElementException如果不設置。

    對齊mebibyte尺寸參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後對齊mebibyte被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為對齊mebibyte

    java.util.NoSuchElementException如果尺寸參數沒有設置

  32. defgetTimeAsMs(關鍵:字符串,defaultValue:字符串):

    得到一個時間參數毫秒,回落到默認如果不設置。

    得到一個時間參數毫秒,回落到默認如果不設置。如果沒有提供後綴那麼毫秒。

    拋出的異常

    NumberFormatException如果該值不能被解釋為毫秒

  33. defgetTimeAsMs(關鍵:字符串):

    得到一個毫秒時間參數;拋出一個NoSuchElementException如果不設置。

    得到一個毫秒時間參數;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴那麼毫秒。

    拋出的異常

    NumberFormatException如果該值不能被解釋為毫秒

    java.util.NoSuchElementException如果沒有設置時間參數

  34. defgetTimeAsSeconds(關鍵:字符串,defaultValue:字符串):

    得到一個時間參數為秒,回到默認如果不設置。

    得到一個時間參數為秒,回到默認如果不設置。如果沒有提供後綴然後秒被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為秒

  35. defgetTimeAsSeconds(關鍵:字符串):

    得到一個時間參數作為秒;拋出一個NoSuchElementException如果不設置。

    得到一個時間參數作為秒;拋出一個NoSuchElementException如果不設置。如果沒有提供後綴然後秒被假定。

    拋出的異常

    NumberFormatException如果該值不能被解釋為秒

    java.util.NoSuchElementException如果沒有設置時間參數

  36. defhashCode():Int
    定義類
    AnyRef→任何
    注釋
    @native ()
  37. definitializeLogIfNecessary(isInterpreter:布爾,沉默:布爾):布爾
    屬性
    受保護的
    定義類
    日誌記錄
  38. definitializeLogIfNecessary(isInterpreter:布爾):單位
    屬性
    受保護的
    定義類
    日誌記錄
  39. 最後defisInstanceOf(T0]:布爾
    定義類
    任何
  40. defisTraceEnabled():布爾
    屬性
    受保護的
    定義類
    日誌記錄
  41. def日誌:日誌記錄器
    屬性
    受保護的
    定義類
    日誌記錄
  42. deflogDebug(味精:⇒字符串,throwable:Throwable):單位
    屬性
    受保護的
    定義類
    日誌記錄
  43. deflogDebug(味精:⇒字符串):單位
    屬性
    受保護的
    定義類
    日誌記錄
  44. deflogError(味精:⇒字符串,throwable:Throwable):單位
    屬性
    受保護的
    定義類
    日誌記錄
  45. deflogError(味精:⇒字符串):單位
    屬性
    受保護的
    定義類
    日誌記錄
  46. deflogInfo(味精:⇒字符串,throwable:Throwable):單位
    屬性
    受保護的
    定義類
    日誌記錄
  47. deflogInfo(味精:⇒字符串):單位
    屬性
    受保護的
    定義類
    日誌記錄
  48. deflogName:字符串
    屬性
    受保護的
    定義類
    日誌記錄
  49. deflogTrace(味精:⇒字符串,throwable:Throwable):單位
    屬性
    受保護的
    定義類
    日誌記錄
  50. deflogTrace(味精:⇒字符串):單位
    屬性
    受保護的
    定義類
    日誌記錄
  51. deflogWarning(味精:⇒字符串,throwable:Throwable):單位
    屬性
    受保護的
    定義類
    日誌記錄
  52. deflogWarning(味精:⇒字符串):單位
    屬性
    受保護的
    定義類
    日誌記錄
  53. 最後def(arg0:AnyRef):布爾
    定義類
    AnyRef
  54. 最後def通知():單位
    定義類
    AnyRef
    注釋
    @native ()
  55. 最後defnotifyAll():單位
    定義類
    AnyRef
    注釋
    @native ()
  56. defregisterAvroSchemas(模式:模式*):SparkConf

    使用Kryo序列化和注冊Avro的既定模式,通用記錄序列化器可以減少網絡IO

  57. defregisterKryoClasses(類:數組([_]]):SparkConf

    使用Kryo序列化和Kryo登記給定的一組類。

    使用Kryo序列化和Kryo登記給定的一組類。如果多次調用,這將添加一起調用的類。

  58. def刪除(關鍵:字符串):SparkConf

    刪除配置的一個參數

  59. def(關鍵:字符串,值:字符串):SparkConf

    設置一個配置變量。

  60. defsetAll(設置:Iterable((字符串,字符串)]):SparkConf

    設置多個參數一起

  61. defsetAppName(名稱:字符串):SparkConf

    設置一個名稱為您的應用程序。

    設置一個名稱為您的應用程序。火花web UI中顯示。

  62. defsetExecutorEnv(變量:數組((字符串,字符串)]):SparkConf

    將多個環境變量設置為啟動時使用執行人。

    將多個環境變量設置為啟動時使用執行人。(java友好的版本)。

  63. defsetExecutorEnv(變量:Seq((字符串,字符串)]):SparkConf

    將多個環境變量設置為啟動時使用執行人。

    將多個環境變量設置為啟動時使用執行人。這些變量是存儲為屬性的spark.executorEnv形式。VAR_NAME(例如spark.executorEnv.PATH),但這種方法使他們更容易設置。

  64. defsetExecutorEnv(變量:字符串,值:字符串):SparkConf

    設置一個環境變量為這個應用程序啟動時使用的執行人。

    設置一個環境變量為這個應用程序啟動時使用的執行人。這些變量是存儲為屬性的spark.executorEnv形式。VAR_NAME(例如spark.executorEnv.PATH),但這種方法使他們更容易設置。

  65. defsetIfMissing(關鍵:字符串,值:字符串):SparkConf

    如果不是已經配置設置一個參數

  66. defsetJars(jar:數組(字符串]):SparkConf

    將JAR文件分發到集群。

    將JAR文件分發到集群。(java友好的版本)。

  67. defsetJars(jar:Seq(字符串]):SparkConf

    將JAR文件分發到集群。

  68. defsetMaster(主:字符串):SparkConf

    主人要連接的URL,比如“本地”和一個線程本地運行,“當地[4]“本地運行4核,或“火花:/ /主:7077”火花獨立集群上運行。

  69. defsetSparkHome(家:字符串):SparkConf

    設置位置引發工人節點上安裝。

  70. 最後def同步(T0](arg0:⇒T0):T0
    定義類
    AnyRef
  71. deftoDebugString:字符串

    返回一個字符串列出所有鍵和值,每行一個。

    返回一個字符串列出所有鍵和值,每行一個。這是有用的打印配置調試。

  72. deftoString():字符串
    定義類
    AnyRef→任何
  73. 最後def等待():單位
    定義類
    AnyRef
    注釋
    @throws ()
  74. 最後def等待(arg0:,__arg1:Int):單位
    定義類
    AnyRef
    注釋
    @throws ()
  75. 最後def等待(arg0:):單位
    定義類
    AnyRef
    注釋
    @throws () @native ()

繼承自可序列化的

繼承自可序列化的

繼承自日誌記錄

繼承自可克隆

繼承自可克隆

繼承自AnyRef

繼承自任何

未分組的

Baidu
map