我試圖運行下麵的訂閱pubsub但這代碼拋出這個異常
. lang。NoClassDefFoundError: org/apache/spark/sql/sources/v2/DataSourceV2
我已經嚐試使用所有版本的https://mvnrepository.com/artifact/com.google.cloud/pubsublite-spark-sql-streaming到目前為止沒有運氣。
從pyspark。sql進口SparkSession
火花= SparkSession.builder。瀏覽器名稱(“簡單的Pub / Sub Lite讀”).getOrCreate ()
df =火花。readStream \
.format \ (“pubsublite”)
.option (“pubsublite。訂閱”、“路徑”)\我的訂閱
.option (“gcp.credentials。gcp憑證”).load關鍵”、“我的()
df。錯誤的顯示(10日)
嗨@cloud用戶到目前為止,我們沒有結構化流與發布/訂閱的支持。下麵是結構化流的支持來源:
https://docs.gcp.www.eheci.com/spark/latest/structured-streaming/data-sources.html