pyspark.streaming.kinesis.KinesisUtils.createStream¶
-
靜態
KinesisUtils。createStream( ssc: pyspark.streaming.context。StreamingContext, kinesisAppName: str, streamName: str, endpointUrl: str, regionName: str, initialPositionInStream: str, checkpointInterval: int, metricsLevel: int = 0, storageLevel: pyspark.storagelevel.StorageLevel = StorageLevel(True, True, False, False, 2), awsAccessKeyId: Optional[str] = None, awsSecretKey: Optional[str] = None, decoder: Union[Callable[[Optional[bytes]], T], Callable[[Optional[bytes]], Optional[str]]] =, stsAssumeRoleArn: Optional[str] = None, stsSessionName: Optional[str] = None, stsExternalId: Optional[str] = None )(pyspark.streaming.dstream→聯盟。DStream[聯盟[T, str,沒有]],pyspark.streaming.dstream.DStream [T]]¶ -
創建一個輸入流,從運動將消息流。這個使用運動的客戶端庫(氯化鉀)將消息從運動。
- 參數
-
-
ssc
StreamingContext -
StreamingContext對象
- kinesisAppName str
-
運動運動所使用的應用程序名稱客戶端庫(氯化鉀)更新DynamoDB
- streamName str
-
動作流的名字
- endpointUrl str
-
運動服務的Url(例如,https://kinesis.us -東- 1. - amazonaws.com)
- regionName str
-
地區名稱運動所使用的客戶端庫(氯化鉀)更新DynamoDB(租賃協調和檢查點)和監測(指標)
- initialPositionInStream int
-
在缺乏運動檢查點信息,這是工人的初始流的起始位置。值是每個動作的開始流的限製24小時(InitialPositionInStream.TRIM_HORIZON)或流的尖端(InitialPositionInStream.LATEST)。
- checkpointInterval int
-
運動檢查點的檢查點間隔(以秒為單位)。看到運動引發流文檔不同類型的檢查點的更多細節。
- metricsLevel int
-
CloudWatch PutMetrics水平。可以被設置為詳細、總結或沒有。(缺省為詳細)
-
storageLevel
pyspark.StorageLevel、可選 -
用於存儲接收到的對象存儲水平(缺省為StorageLevel.MEMORY_AND_DISK_2)
- awsAccessKeyId str,可選
-
AWS AccessKeyId(默認是沒有的。如果沒有,將使用DefaultAWSCredentialsProviderChain)
- awsSecretKey str,可選
-
AWS SecretKey(默認是沒有的。如果沒有,將使用DefaultAWSCredentialsProviderChain)
- 譯碼器 功能,可選
-
函數用於解碼值(缺省為utf8_decoder)
- stsAssumeRoleArn str,可選
-
在攻擊我的角色承擔當使用STS課程閱讀從運動流(默認是沒有)。
- stsSessionName str,可選
-
名字來唯一地標識STS課程用於讀取動作流,如果使用STS(默認是沒有)。
- stsExternalId str,可選
-
外部ID,可以用來驗證假設我角色的信任政策,如果使用STS(默認是沒有)。
-
ssc
- 返回
-
- DStream對象
筆記
給定的AWS憑證將保存在DStream檢查點如果啟用了檢查點。確保你的檢查點目錄是安全的。