我正在讀每天更新的源表。通常與更新和添加/合並是偶爾覆蓋其他原因。
df = spark.readStream.schema(模式).format(“δ”)。選項(“ignoreChanges”,真正的)。選項(startingVersion, xx) .table (“db_name.table_name”)
我還有以下在DLT引發配置設置:
“spark.sql.files。ignoreMissingFiles”:“真正的”、“spark.databricks.delta.schema.autoMerge.enabled”:“真正的”
但它拋出這個錯誤當我試著刷新管道。它還沒當我做全部刷新。
終止與例外:檢測模式的改變:
請嚐試重新啟動查詢。如果這個問題重複查詢重啟
取得進展,你讓一個不兼容的模式變化和需要你
使用一個新的檢查點目錄查詢從頭開始。
當我試著readStream模式,
模式= spark.read (“db_name.table_name”)。模式df = spark.readStream.schema(模式).format(“δ”)。選項(“ignoreChanges”,真正的)。選項(startingVersion, xx) .table (“db_name.table_name”)
它把以下錯誤
pyspark.sql.utils。AnalysisException:用戶指定的模式不支持用“表”
