包

p

org。apache。火花

流媒體

包流媒體

火花流功能。org.apache.spark.streaming.StreamingContext作為火花流的主要入口點,org.apache.spark.streaming.dstream.DStream是抽樣的數據類型代表一個連續的序列,代表一個連續的數據流。

此外,org.apache.spark.streaming.dstream.PairDStreamFunctions包含操作隻能在DStreams鍵值對,等groupByKey和reduceByKey。這些操作是自動上可用任何DStream正確的類型(例如DStream [(Int, Int)]通過隱式轉換。

Java API的火花流,看一看org.apache.spark.streaming.api.java.JavaStreamingContext作為入口點,和org.apache.spark.streaming.api.java.JavaDStream和org.apache.spark.streaming.api.java.JavaPairDStreamDStream功能。

線性超
AnyRef,任何
訂購
  1. 字母
  2. 通過繼承
繼承了
  1. 流媒體
  2. AnyRef
  3. 任何
  1. 隱藏所有
  2. 顯示所有
可見性
  1. 公共
  2. 所有

類型成員

  1. 用例類持續時間(米爾斯:長)擴展產品與可序列化的
  2. 密封的抽象類狀態(年代]擴展AnyRef

    ::實驗::抽象類獲取和更新狀態映射函數中使用mapWithState操作的一對DStream(Scala)或JavaPairDStream(Java)。

    ::實驗::抽象類獲取和更新狀態映射函數中使用mapWithState操作的一對DStream(Scala)或JavaPairDStream(Java)。

    Scala使用的例子狀態:

    / /映射函數,維護一個整數狀態並返回一個字符串defmappingFunction(關鍵:字符串價值:選項(Int),狀態:狀態(Int):選項(字符串]= {/ /檢查是否存在狀態如果(state.exists) {瓦爾existingState = state.get/ /得到現有的狀態瓦爾shouldRemove =…/ /決定是否刪除狀態如果(shouldRemove) {state.remove ()/ /刪除狀態}其他的{瓦爾newState =…state.update (newState)/ /設置新的狀態}}其他的{瓦爾initialState =…state.update (initialState)/ /設置初始狀態}……/ /返回的東西}

    Java使用的例子狀態:

    / /映射函數,維護一個整數狀態並返回一個字符串Function3 <字符串、可選<整數>、<整數>,字符串> mappingFunction =新Function3 <字符串、可選<整數>、<整數>,字符串> (){@Override公開字符串調用(字符串可選的<整數>值,關鍵國家<整數>狀態){如果(state.exists ()) {int existingState = state.get ();/ /得到現有的狀態布爾shouldRemove =…;/ /決定是否刪除狀態如果(shouldRemove) {state.remove ();/ /刪除狀態}其他的{int newState =…;state.update (newState);/ /設置新的狀態}}其他的{int initialState =…;/ /設置初始狀態state.update (initialState);}/ /返回的東西}};
    年代

    類的狀態

    注釋
    @Experimental ()
  3. 密封的抽象類StateSpec(KeyType,ValueType,StateType,MappedType]擴展可序列化的

    ::實驗::抽象類代表所有的規格DStream轉換mapWithState操作的一對DStream(Scala)或JavaPairDStream(Java)。

    ::實驗::抽象類代表所有的規格DStream轉換mapWithState操作的一對DStream(Scala)或JavaPairDStream(Java)。使用org.apache.spark.streaming.StateSpec.function ()工廠方法創建這個類的實例。

    Scala中的例子:

    / /映射函數,維護一個整數狀態並返回一個字符串defmappingFunction(關鍵:字符串價值:選項(Int),狀態:狀態(Int):選項(字符串]= {/ /使用state.exists (), state.get (), state.update()和state.remove ()/ /管理狀態,返回的字符串}瓦爾規範= StateSpec.function mappingFunction .numPartitions (10)瓦爾mapWithStateDStream = keyValueDStream。mapWithState(StateType,MappedType](spec)

    在Java示例:

    / /映射函數,維護一個整數狀態並返回一個字符串Function3 <字符串、可選<整數>、<整數>,字符串> mappingFunction =新Function3 <字符串、可選<整數>、<整數>,字符串公共可選的< > (){@Override字符串<整數> >調用(可選值,<整數>狀態){/ /使用state.exists (), state.get (), state.update()和state.remove ()/ /管理狀態,返回的字符串}};JavaMapWithStateDStream <字符串整數,整數,字符串> mapWithStateDStream = keyValueDStream.mapWithState (StateSpec.function (mappingFunc));
    KeyType

    類國家的關鍵

    ValueType

    類的狀態值

    StateType

    類的狀態數據

    MappedType

    類的映射元素

    注釋
    @Experimental ()
  4. 類StreamingContext擴展日誌記錄

    主要入口點火花流功能。

    主要入口點火花流功能。它提供了用於創建方法org.apache.spark.streaming.dstream.DStream從各種輸入源。它可以通過提供一個火花大師URL和一個瀏覽器名稱,或從org.apache.spark。年代parkConf configuration (see core Spark documentation), or from an existing org.apache.spark.SparkContext. The associated SparkContext can be accessed usingcontext.sparkContext。創建並將DStreams後,流計算可以啟動和停止使用context.start ()和context.stop (),分別。context.awaitTermination ()允許當前線程等待終止的上下文stop ()或者是一個例外。

  5. 密封的抽象的最後類StreamingContextState擴展枚舉(StreamingContextState]
    注釋
    @DeveloperApi ()
  6. 用例類時間(米爾斯:長)擴展產品與可序列化的

    這是一個簡單的類,它代表了一個絕對的瞬間的時間。

    這是一個簡單的類,它代表了一個絕對的瞬間的時間。在內部,它代表了時間的差異,以毫秒計,當前時間和午夜之間,1970年1月1日UTC。這是相同的格式由System.currentTimeMillis返回。

值的成員

  1. 對象持續時間
  2. 對象毫秒

    Helper對象創建的實例org.apache.spark.streaming.Duration代表一個給定的毫秒數。

  3. 對象分鍾

    Helper對象創建的實例org.apache.spark.streaming.Duration代表一個給定的數分鍾。

  4. 對象秒

    Helper對象創建的實例org.apache.spark.streaming.Duration代表一個給定的秒數。

  5. 對象StateSpec擴展可序列化的

    ::實驗::Builder創建實例對象org.apache.spark.streaming.StateSpec用於指定的參數DStream轉換mapWithState用於指定的參數DStream轉換mapWithState操作的一對DStream(Scala)或JavaPairDStream(Java)。

    ::實驗::Builder創建實例對象org.apache.spark.streaming.StateSpec用於指定的參數DStream轉換mapWithState用於指定的參數DStream轉換mapWithState操作的一對DStream(Scala)或JavaPairDStream(Java)。

    Scala中的例子:

    / /映射函數,維護一個整數狀態並返回一個字符串defmappingFunction(關鍵:字符串價值:選項(Int),狀態:狀態(Int):選項(字符串]= {/ /使用state.exists (), state.get (), state.update()和state.remove ()/ /管理狀態,返回的字符串}瓦爾規範= StateSpec.function mappingFunction .numPartitions (10)瓦爾mapWithStateDStream = keyValueDStream。mapWithState(StateType,MappedType](spec)

    在Java示例:

    / /映射函數,維護一個整數狀態並返回一個字符串Function3 <字符串、可選<整數>、<整數>,字符串> mappingFunction =新Function3 <字符串、可選<整數>、<整數>,字符串公共可選的< > (){@Override字符串<整數> >調用(可選值,<整數>狀態){/ /使用state.exists (), state.get (), state.update()和state.remove ()/ /管理狀態,返回的字符串}};JavaMapWithStateDStream <字符串整數,整數,字符串> mapWithStateDStream = keyValueDStream.mapWithState (StateSpec.function (mappingFunc));
    注釋
    @Experimental ()
  6. 對象StreamingConf
  7. 對象StreamingContext擴展日誌記錄

    StreamingContext對象包含大量的效用函數與StreamingContext類。

  8. 對象時間擴展可序列化的

繼承自AnyRef

繼承自任何

未分組的

Baidu
map