範圍創造磚或彙合的嗎?

[朱莉]

你好,我是一個新手在這個領域,試圖訪問彙合的卡夫卡流在磚Azure基於初學者的視頻數據磚。我有一個免費試用的磚現在集群。當我運行下麵的筆記本,第5行上顯示錯誤信息範圍。

我的問題是,我應該創建在支流或磚範圍。有人見過嗎?

youtube視頻

非常感謝! !

朱莉

[Hubert_Dudek1 · Accepted solution]

對於測試,創建沒有秘密的範圍。這將是不安全的,但你可以發布秘密作為字符串在筆記本上進行測試。這是代碼,我從支流用於裝載數據:

inputDF =(火花.readStream .format .option (“kafka.bootstrap(“卡夫卡”)。服務器”,主機).option (“kafka.ssl.endpoint.identification。算法”、“https”) .option (“kafka.sasl。機製”、“普通”).option (“kafka.security。協議”、“SASL_SSL”) .option (“kafka.sasl.jaas。配置”、“kafkashaded.org.apache.kafka.common.security.plain.PlainLoginModule需要用戶名密碼=“{}”=“{}”;”。格式(用戶id、密碼)).option(“訂閱”,主題).option (“kafka.client。id”、“磚”).option (“kafka.group。id”、“new_group2”) .option (“spark.streaming.kafka。maxRatePerPartition”、“5”) .option (“startingOffsets”,“最早”).option (“kafka.session.timeout。女士”,“10000”).option (“minPartitions sc.DefaultParallelism) .load ())

[朱莉]

嘿休伯特,

首先謝謝你的回應。當然,我會試試。

第11行,kafka.group。id,這得從雲彙合的對吧?

謝謝,

朱莉

[Hubert_Dudek1]

定義的名字你來控製抵消。我認為,一旦你把磚代碼中它將自動創建在卡夫卡/彙合的。

[朱莉]

由於休伯特,經營好,看來是創建一個輸入dataframe。我怎麼看它是否使用正確的主題?任何想法嗎?