我試著在加州大學建立一個DLT與運動生產國。
我的第一個表看起來像:
@dlt.create_table (
table_properties = {
“pipelines.autoOptimize.managed”:“真正的”
},
spark_conf = {“spark.databricks.delta.schema.autoMerge.enabled”:“真正的”},
)
deffeed_chunks ():
返回(
spark.readStream。格式(“運動”)
.option (“streamName”stream_name)
.option (“ignoreChanges”,“真正的”)
.option (“overwriteSchema”,“真正的”)
.option (“roleArn”,“攻擊:aws:我::xxxxx:角色/ xxxxx-read-role”)
.option (“地區”,“一來”)
.load ()
)
我得到這個錯誤:
pyspark.errors.exceptions。AnalysisException (UNSUPPORTED_STREAMING_OPTIONS_PERMISSION_ENFORCED):
流選項overwriteschema ignorechanges並不支持
數據源共享集群上運動。
這是一個知道DLT限製x加州大學嗎?
相同的DLT簡單蜂巢metastore效果很好。
