問題:
印度生物技術部運行時啟用了持續列文檔我們得到以下錯誤:org.apache.hadoop.hive.ql.metadata。HiveException:至少一列必須指定表
背景:
有一個問題dbt-spark github上被關閉了。
https://github.com/dbt-labs/dbt-spark/issues/364這是討論的# db-databricks-and-spark印度生物技術部鬆弛社區的通道。
我們嚐試建議的修複,設置spark.databricks.delta.catalog.update.enabled = false,但我們仍然得到錯誤如果啟用了列文檔。我們不讓錯誤如果我們堅持列文檔是假的但我們不能在印度生物技術部使用全部文檔的功能。
問題:
1)一年前有一個評論印度生物技術部鬆弛“我們大約兩周遠離部署一個增強的異步線程雖然三角洲目錄進行更新,以解決這個問題你不需要禁用delta.catalog.update”。是修複,以上,還推薦嗎?如果不是有新的建議嗎?
2)建議修複設置spark.databricks.delta.catalog.update.enabled = false為其他海報但不工作了所以我想知道如果我們正確地實施。起程拓殖文檔中描述不精確匹配是什麼職位。我們設定這個參數在“data_access_config”,但海報描述設置“sql_config_params”,但我們不能這樣做起程拓殖。下麵的是實現正確嗎?(文檔的鏈接,我們看著是無序的,下麵)
資源”databricks_sql_global_config”“cfg”{
instance_profile_arn = aws_iam_instance_profile.hc.arn
data_access_config = {
“spark.databricks.delta.catalog.update.enabled”:“假”
}
}
資源”databricks_sql_global_config”“cfg”{
instance_profile_arn = aws_iam_instance_profile.hc.arn
sql_config_params = {
data_access_config = {
“spark.databricks.delta.catalog.update.enabled”:“假”
}
}
謝謝你的幫助!
我不知道我有了詳細的錯誤消息比我最初的帖子。這似乎是一個證據充分的問題印度生物技術部鬆弛之間的通道和github問題從dbt-spark我聯係在最初的職位,我認為我們的經驗很好匹配其他報告。我認為你是對的,問題是別的配置中我們沒能找到。不過,我確實有一個更新。我們可以使用UI添加參數,到目前為止,我們還沒有得到我們做出改變錯誤,因為它似乎是與起程拓殖配置更改的實施。我們會見磚接觸不久我會更新這個解決方案如果我們算出來。謝謝你的幫助在這!