取消
顯示的結果
而不是尋找
你的意思是:

連接數據磚Heroku卡夫卡

Kaniz
社區經理
社區經理

描述:

POC,我們試圖連接到Heroku卡夫卡從磚工作區。

Heroku卡夫卡,連接的配置細節給出4個變量的形式如下:

- - - - - - -連接變量- - - - -

KAFKA_CLIENT_CERT (.pem格式)

KAFKA_CLIENT_CERT_KEY (.pem格式)

KAFKA_TRUSTED_CERT (.pem格式)

KAFKA_URL(卡夫卡+ ssl: / / < < broker1:端口> >,卡夫卡+ ssl: / / < < broker2:端口> > ..........)

- - - - - - -連接變量—————

磚,我們試圖連接使用下麵的scala代碼。

- - -代碼- - -

進口org.apache.spark.sql.functions。{get_json_object, json_tuple} var streamingInputDF =火花。readStream .format .option (“kafka.bootstrap(“卡夫卡”)。服務器”、“卡夫卡+ ssl: / / host1:端口1,卡夫卡+ ssl: / / host2:端口2”).option .option (“kafka.security.protocol”、“ssl”) (“kafka.ssl.truststore。位置”、“< <信任庫。jks位置dbfs .option (“kafka.ssl.truststore > >”)。密碼”、“< <密碼> >”).option (“kafka.ssl.keystore。位置”、“< <密鑰存儲庫。jks位置dbfs .option (“kafka.ssl.keystore > >”)。密碼”、“< <密碼> >”).option(“訂閱”,“< < topic_name > >”) .option (“startingOffsets”、“最新”).option .option (“minPartitions”,“10”) (“failOnDataLoss”、“true”) .load()顯示(streamingInputDF)

- - -代碼- - - - - -

錯誤,我讓下麵:

推薦- - - - - -錯誤- - - - - -

推薦- - - - - -錯誤- - -

到目前為止我試過什麼?

我已經創建了jks文件使用博客https://blogs.mulesoft.com/dev-guides/api-connectors-templates/how-to-connect-to-apache-kafka-on-her..。

我已經嚐試執行筆記本將jks文件與掛載點在S3 bucket DBFS以及DBFS位置,將證書

  1. / FileStore /表/證書/ keystore.jks
  2. / FileStore /表/證書/ truststore.jks

但是即使將jks文件都存儲選項,我得到錯誤未能加載SSL密鑰庫/ FileStore /表/證書/密鑰存儲庫。類型的jks jks

請幫助解決這個問題。

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map