無法從穀歌流pub / sub

[210573年]

我試圖運行下麵的訂閱pubsub但這代碼拋出這個異常

. lang。NoClassDefFoundError: org/apache/spark/sql/sources/v2/DataSourceV2

我已經嚐試使用所有版本的https://mvnrepository.com/artifact/com.google.cloud/pubsublite-spark-sql-streaming到目前為止沒有運氣。

從pyspark。sql進口SparkSession

火花= SparkSession.builder。瀏覽器名稱(“簡單的Pub / Sub Lite讀”).getOrCreate ()

df =火花。readStream \

.format \ (“pubsublite”)

.option (“pubsublite。訂閱”、“路徑”)\我的訂閱

.option (“gcp.credentials。gcp憑證”).load關鍵”、“我的()

df。錯誤的顯示(10日)

[werners1]

你能沒有創建sparksession重試?像磚為你提供一個。

[Noopur_Nigam]

嗨@cloud用戶到目前為止,我們沒有結構化流與發布/訂閱的支持。下麵是結構化流的支持來源:

https://docs.gcp.www.eheci.com/spark/latest/structured-streaming/data-sources.html

[Kaniz]

嗨@cloud用戶,我們一直沒有收到你最後的回應@Noopur尼噶,我檢查看看你有一項決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

[ajaypanday6781]

嗨@210573

磚現在開始支持發布/訂閱流本身現在可以開始為你的用例使用pubsub流低於官方網址-更多信息訪問

PUB / SUB磚