我想讀一個消息使用磚從一個支流卡夫卡的話題但是我繼續下麵的錯誤。你能讓我知道如果我遺漏了什麼東西?
代碼
錯誤
org.apache.spark.sql.kafka010.KafkaOffsetReaderConsumer.fetchEarliestOffsets (KafkaOffsetReaderConsumer.scala: 334) org.apache.spark.sql.kafka010.KafkaMicroBatchStream。anonfun getOrCreateInitialPartitionOffsets美元1美元(KafkaMicroBatchStream.scala: 302) scala.Option.getOrElse (Option.scala: 189) org.apache.spark.sql.kafka010.KafkaMicroBatchStream.getOrCreateInitialPartitionOffsets (KafkaMicroBatchStream.scala: 299) org.apache.spark.sql.kafka010.KafkaMicroBatchStream.initialOffset (KafkaMicroBatchStream.scala: 132) org.apache.spark.sql.execution.streaming.MicroBatchExecution。anonfun getStartOffset美元2美元(MicroBatchExecution.scala: 566) scala.Option.getOrElse (Option.scala: 189) org.apache.spark.sql.execution.streaming.MicroBatchExecution.getStartOffset (MicroBatchExecution.scala: 566)
你遇到的錯誤消息顯示獲取的問題最早的偏移量對卡夫卡的話題。似乎KafkaOffsetReaderConsumer無法檢索初始分區補償,導致錯誤的發生。
為了解決這個問題,這裏有一些可以遵循的步驟:
驗證卡夫卡代理細節:仔細檢查中指定“kafka.bootstrap卡夫卡代理信息。服務器”選項是準確的。確保所提供的地址和端口匹配實際的卡夫卡要連接到代理。
驗證安全設置:如果你的卡夫卡集群需要身份驗證和加密,確保您已經正確地提供了必要的安全配置。kafka.sasl.jaas選項”。配置”、“kafka.sasl。機製”、“kafka.security。協議”需要根據卡夫卡集群的安全需求。
檢查主題名稱和組ID:確保“訂閱”選項中指定的主題名稱匹配的卡夫卡的話題你想讀。此外,在“kafka.group驗證指定的組ID。為您的應用程序id”是有效的和獨特的。
檢查訪問權限:確保kafka.sasl.jaas中使用的憑證”。配置”的必要權限讀卡夫卡的話題。檢查acl(訪問控製列表)卡夫卡集群,以確保用戶或服務帳戶已適當的讀訪問權。