我在做磚ACL啟用集群,難以執行動態分區覆蓋三角洲表。
我已經創建了一個測試表使用以下查詢:
創建表如果不存在test_01 (id字符串,名稱字符串,字符串)用δ分區(國家)
然後嚐試使用這個查詢插入一些數據:
插入覆蓋表test_01分區(國家)值(“id_01”、“name_01”、“country_01”), (‘id_02’,‘name_02’,‘country_02’)
我得到以下錯誤:
. lang。SecurityException:不能驗證權限OverwritePartitionsDynamic RelationV2
我的集群火花配置:
spark.driver。-Dlog4j2 extraJavaOptions”。形式atMsgNoLookups=true" spark.databricks.optimizer.adaptive.enabled true spark.databricks.delta.preview.enabled true spark.sql.adaptive.coalescePartitions.enabled true spark.sql.sources.partitionOverwriteMode dynamic spark.sql.adaptive.skewJoin.enabled true spark.databricks.repl.allowedLanguages python,sql spark.databricks.acl.dfAclsEnabled true spark.sql.execution.arrow.enabled true spark.executor.extraJavaOptions "-Dlog4j2.formatMsgNoLookups=true" spark.databricks.pyspark.enablePy4JSecurity false
磚的運行時版本11.3 LTS(火花3.3.0)
當一個集群上執行相同的查詢沒有ACL,一切工作正常。
有人遇到這樣的問題,一個解決方案嗎?謝謝!
