使用:
(主機名是隱藏的)
卡夫卡= spark.readStream \
.format \(“卡夫卡”)
.option (“kafka.sasl。機製”、“安全- sha - 512”) \
.option (“kafka.security。協議”、“SASL_SSL”) \
.option (“kafka.sasl.jaas。配置”,f 'org.apache.kafka.common.security.scram.ScramLoginModule需要用戶名= " {user_stg} "密碼= " {pass_stg} \”)
.option (“kafka.bootstrap。服務器”、“b - 1. -數據…amazonaws.com: 9096”) \
.option(“訂閱”、“app-events”) \
.option (“startingOffsets”、“最早”)
我得到這個錯誤:
ava.lang。SecurityException:數據源不支持V2流表acl或憑據透傳集群。StreamingRelationV2 org.apache.spark.sql.kafka010。卡夫卡,KafkaSourceProvider@11002bae org.apache.spark.sql.kafka010。(kafka.sasl KafkaSourceProvider KafkaTable@35ae434美元。機製=安全- sha - 512,訂閱=應用——ddpg——評估——事件,kafka.sasl.jaas.config = * * * * * * * * *(修訂),kafka.bootstrap.servers = b - 1. -通過msk - st.sydr4w.c1.kafka.eu中心- 1. amazonaws.com: 9096年,startingOffsets =最早,kafka.security。協議= SASL_SSL]、[關鍵# 137,# 138,# 139主題,分區# 140,# 141 l,抵消時間戳# 142,timestampType # 143), StreamingRelation數據源(org.apache.spark.sql.SparkSession@65e0bcfb、卡夫卡、列表(),()列表,沒有,地圖(kafka.sasl。機製→安全- sha - 512,訂閱→應用程序——ddpg——評估——事件,kafka.sasl.jaas。配置→org.apache.kafka.common.security.scram.ScramLoginModule需要用戶名= & # 34;[編輯]& # 34;密碼= & # 34;[編輯]& # 34;kafka.bootstrap。服務器→b - 1. -數據.... amazonaws.com: 9096年,startingOffsets→ earliest, kafka.security.protocol -> SASL_SSL),None), kafka, [key#130, value#131, topic#132, partition#133, offset#134L, timestamp#135, timestampType#136]
我有什麼地方做的不對或者其他地方有問題?
有人得到這個,發現一個解決方案嗎?