發現bigquery (com.google.cloud.spark.bigquery AnalysisException:多個來源。BigQueryRelationProvider com.google.cloud.spark.bigquery.v2.BigQueryTableProvider),請指定完全限定類名。

[parulpaul]

而從BigQuery讀取數據磚

錯誤:AnalysisException:

多個源bigquery (com.google.cloud.spark.bigquery找到。BigQueryRelationProvider com.google.cloud.spark.bigquery.v2.BigQueryTableProvider),

請指定完全限定類名。

Jar——spark-bigquery-with-dependencies_2.12-0.27.0.jar使用

df = spark.read.format \ (“bigquery”)

.option (“credentialsFile”, credientialFilePath) \

.option (“ParentProject”, projectName) \

.option \(“表”,表名)

.load ()

[Debayan · Accepted solution]

嗨@Parul保羅,請檢查是否這個場景:https://stackoverflow.com/questions/68623803/load-to-bigquery-via-spark-job-fails-with-an-exception-..。

同樣,你可以參考:https://github.com/GoogleCloudDataproc/spark-bigquery-connector/issues/55

使用大的查詢與火花連接器,請參考:https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example

同樣,問題可以是:火花的多個版本的sql類路徑,這可能是由於庫安裝在集群。你能請檢查卸載一些不必要的庫和重新啟動集群?

[Kaniz]

嗨@Parul保羅,我們一直沒有收到你自從上次反應@Debayan穆克吉,我檢查看看你有一項決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。