取消
顯示的結果
而不是尋找
你的意思是:

kafkashaded.org.apache.kafka.common.KafkaException:未能構建卡夫卡消費者

shivank25
新的貢獻者二世

我想讀一個消息使用磚從一個支流卡夫卡的話題但是我繼續下麵的錯誤。你能讓我知道如果我遺漏了什麼東西?

代碼

選擇= {
“kafka.sasl.jaas.config” : “org.apache.kafka.common.security.plain.PlainLoginModule需要用戶名= " "密碼= " ";“ ,
“kafka.sasl.mechanism” : “普通” ,
“kafka.security.protocol” : “SASL_SSL” ,
“kafka.bootstrap.servers” : “代理:9093” ,
“訂閱” : “sample_topic” ,
“kafka.group.id” : ”“group_id ,
“startingOffsets” : “最早”
}

df =(火花
.readStream
格式 ( “卡夫卡” )
.options(* *選項)
.load ())

json_df = df.selectExpr ( “鑄(值為字符串)作為json” )
查詢= json_df.writeStream。 格式 ( “控製台” ).start ()
query.awaitTermination ()

錯誤

org.apache.spark.sql.kafka010.KafkaOffsetReaderConsumer.fetchEarliestOffsets (KafkaOffsetReaderConsumer.scala: 334) org.apache.spark.sql.kafka010.KafkaMicroBatchStream。anonfun getOrCreateInitialPartitionOffsets美元1美元(KafkaMicroBatchStream.scala: 302) scala.Option.getOrElse (Option.scala: 189) org.apache.spark.sql.kafka010.KafkaMicroBatchStream.getOrCreateInitialPartitionOffsets (KafkaMicroBatchStream.scala: 299) org.apache.spark.sql.kafka010.KafkaMicroBatchStream.initialOffset (KafkaMicroBatchStream.scala: 132) org.apache.spark.sql.execution.streaming.MicroBatchExecution。anonfun getStartOffset美元2美元(MicroBatchExecution.scala: 566) scala.Option.getOrElse (Option.scala: 189) org.apache.spark.sql.execution.streaming.MicroBatchExecution.getStartOffset (MicroBatchExecution.scala: 566)

1回複1

匿名
不適用

你遇到的錯誤消息顯示獲取的問題最早的偏移量對卡夫卡的話題。似乎KafkaOffsetReaderConsumer無法檢索初始分區補償,導致錯誤的發生。

為了解決這個問題,這裏有一些可以遵循的步驟:

  1. 驗證卡夫卡代理細節:仔細檢查中指定“kafka.bootstrap卡夫卡代理信息。服務器”選項是準確的。確保所提供的地址和端口匹配實際的卡夫卡要連接到代理。

  2. 驗證安全設置:如果你的卡夫卡集群需要身份驗證和加密,確保您已經正確地提供了必要的安全配置。kafka.sasl.jaas選項”。配置”、“kafka.sasl。機製”、“kafka.security。協議”需要根據卡夫卡集群的安全需求。

  3. 檢查主題名稱和組ID:確保“訂閱”選項中指定的主題名稱匹配的卡夫卡的話題你想讀。此外,在“kafka.group驗證指定的組ID。為您的應用程序id”是有效的和獨特的。

  4. 檢查訪問權限:確保kafka.sasl.jaas中使用的憑證”。配置”的必要權限讀卡夫卡的話題。檢查acl(訪問控製列表)卡夫卡集群,以確保用戶或服務帳戶已適當的讀訪問權。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map