而從BigQuery讀取數據磚
錯誤:AnalysisException:
多個源bigquery (com.google.cloud.spark.bigquery找到。BigQueryRelationProvider com.google.cloud.spark.bigquery.v2.BigQueryTableProvider),
請指定完全限定類名。
Jar——spark-bigquery-with-dependencies_2.12-0.27.0.jar使用
df = spark.read.format \ (“bigquery”)
.option (“credentialsFile”, credientialFilePath) \
.option (“ParentProject”, projectName) \
.option \(“表”,表名)
.load ()
嗨@Parul保羅,請檢查是否這個場景:https://stackoverflow.com/questions/68623803/load-to-bigquery-via-spark-job-fails-with-an-exception-..。
同樣,你可以參考:https://github.com/GoogleCloudDataproc/spark-bigquery-connector/issues/55
使用大的查詢與火花連接器,請參考:https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example
同樣,問題可以是:火花的多個版本的sql類路徑,這可能是由於庫安裝在集群。你能請檢查卸載一些不必要的庫和重新啟動集群?
嗨@Parul保羅,請檢查是否這個場景:https://stackoverflow.com/questions/68623803/load-to-bigquery-via-spark-job-fails-with-an-exception-..。
同樣,你可以參考:https://github.com/GoogleCloudDataproc/spark-bigquery-connector/issues/55
使用大的查詢與火花連接器,請參考:https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example
同樣,問題可以是:火花的多個版本的sql類路徑,這可能是由於庫安裝在集群。你能請檢查卸載一些不必要的庫和重新啟動集群?