我跟著文檔和使用相同的metastore配置工作在工程環境的數據。當試圖查看數據庫,我的錯誤:
遇到一個內部錯誤
以下信息未能加載:
請再試一次或聯係你的磚代表問題是否依然存在。
我的SQL端點配置是:
spark.hadoop.javax.jdo.option。ConnectionURL{{秘密/ key-vault-secrets / Metastore-ConnectionURL}} spark.hadoop.javax.jdo.option。ConnectionUserName{{秘密/ key-vault-secrets / Metastore-ConnectionUserName}} spark.hadoop.javax.jdo.option。ConnectionPassword{{秘密/ key-vault-secrets / Metastore-ConnectionPassword}} spark.hadoop.javax.jdo.option。ConnectionDriverName com.microsoft.sqlserver.jdbc。SQLServerDriver spark.sql.hive.metastore。版本{{秘密/ key-vault-secrets / Metastore-Version}} spark.sql.hive.metastore。罐子{{秘密/ key-vault-secrets / Metastore-Jars}} spark.hadoop.fs.azure.account.auth.type。{{秘密/ key-vault-secrets / Lakehouse-Account}} .dfs.core.windows.net OAuth spark.hadoop.fs.azure.account.oauth.provider.type。{{秘密/ key-vault-secrets / Lakehouse-Account}} .dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.id。.dfs.core.windows.net{{秘密/ key-vault-secrets / Lakehouse-Account}}{{秘密/ key-vault-secrets / Lakehouse-ServiceAccount-SQLDataAccess}} spark.hadoop.fs.azure.account.oauth2.client.secret。.dfs.core.windows.net{{秘密/ key-vault-secrets / Lakehouse-Account}}{{秘密/ key-vault-secrets / Lakehouse-SQLDataAccess-Secret}} spark.hadoop.fs.azure.account.oauth2.client.endpoint。{{秘密/ key-vault-secrets / Lakehouse-Account}} .dfs.core.windows.nethttps://login.microsoftonline.com/{{秘密/ key-vault-secrets /租戶id}} / oauth2 /令牌
@Tim Kracht本不應該發生。去查詢曆史,選擇一個查詢,到細節,然後環境和尋找
spark.databricks.clusterUsageTags.sparkVersion
這說的是什麼?
@Bilal Aslam之前我沒有去看一下因為我沒有試圖運行任何查詢。我看到失敗顯示數據庫查詢曆史上和他們識別錯誤:
裝入的jar時隻能使用蜂巢執行版本= =蜂巢metastore版本。執行:2.3.9 ! = Metastore: 2.3.7。指定一個有效的路徑正確使用spark.sql.hive.metastore蜂巢jar。spark.sql.hive.metastore jar或改變。2.3.9版本。
我的數據工程運行9.1 LTS集群運行時和它看起來像SQL 10.0.x-photon-scala2.12運行。我更新了我的SQL端點spark.sql.hive.metastore。版本設置2.3.9固定的問題。謝謝你!