取消
顯示的結果
而不是尋找
你的意思是:

無法從穀歌流pub / sub

210573年
新的因素

我試圖運行下麵的訂閱pubsub但這代碼拋出這個異常

. lang。NoClassDefFoundError: org/apache/spark/sql/sources/v2/DataSourceV2

我已經嚐試使用所有版本的https://mvnrepository.com/artifact/com.google.cloud/pubsublite-spark-sql-streaming到目前為止沒有運氣。

從pyspark。sql進口SparkSession

火花= SparkSession.builder。瀏覽器名稱(“簡單的Pub / Sub Lite讀”).getOrCreate ()

df =火花。readStream \

.format \ (“pubsublite”)

.option (“pubsublite。訂閱”、“路徑”)\我的訂閱

.option (“gcp.credentials。gcp憑證”).load關鍵”、“我的()

df。錯誤的顯示(10日)

4回複4

werners1
尊敬的貢獻者三世

你能沒有創建sparksession重試?像磚為你提供一個。

Noopur_Nigam
重視貢獻二世

嗨@cloud用戶到目前為止,我們沒有結構化流與發布/訂閱的支持。下麵是結構化流的支持來源:

https://docs.gcp.www.eheci.com/spark/latest/structured-streaming/data-sources.html

Kaniz
社區經理
社區經理

嗨@cloud用戶,我們一直沒有收到你最後的回應@Noopur尼噶,我檢查看看你有一項決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

ajaypanday6781
尊敬的貢獻者二世

@210573

磚現在開始支持發布/訂閱流本身現在可以開始為你的用例使用pubsub流低於官方網址-更多信息訪問

PUB / SUB磚

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map