取消
顯示的結果
而不是尋找
你的意思是:

發現bigquery (com.google.cloud.spark.bigquery AnalysisException:多個來源。BigQueryRelationProvider com.google.cloud.spark.bigquery.v2.BigQueryTableProvider),請指定完全限定類名。

parulpaul
新的貢獻者三世

而從BigQuery讀取數據磚

錯誤:AnalysisException:

多個源bigquery (com.google.cloud.spark.bigquery找到。BigQueryRelationProvider com.google.cloud.spark.bigquery.v2.BigQueryTableProvider),

請指定完全限定類名。

Jar——spark-bigquery-with-dependencies_2.12-0.27.0.jar使用

df = spark.read.format \ (“bigquery”)

.option (“credentialsFile”, credientialFilePath) \

.option (“ParentProject”, projectName) \

.option \(“表”,表名)

.load ()

1接受解決方案

接受的解決方案

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Parul保羅,請檢查是否這個場景:https://stackoverflow.com/questions/68623803/load-to-bigquery-via-spark-job-fails-with-an-exception-..。

同樣,你可以參考:https://github.com/GoogleCloudDataproc/spark-bigquery-connector/issues/55

使用大的查詢與火花連接器,請參考:https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example

同樣,問題可以是:火花的多個版本的sql類路徑,這可能是由於庫安裝在集群。你能請檢查卸載一些不必要的庫和重新啟動集群?

在原帖子查看解決方案

2回答2

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Parul保羅,請檢查是否這個場景:https://stackoverflow.com/questions/68623803/load-to-bigquery-via-spark-job-fails-with-an-exception-..。

同樣,你可以參考:https://github.com/GoogleCloudDataproc/spark-bigquery-connector/issues/55

使用大的查詢與火花連接器,請參考:https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example

同樣,問題可以是:火花的多個版本的sql類路徑,這可能是由於庫安裝在集群。你能請檢查卸載一些不必要的庫和重新啟動集群?

Kaniz
社區經理
社區經理

嗨@Parul保羅,我們一直沒有收到你自從上次反應@Debayan穆克吉,我檢查看看你有一項決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map