如何跟蹤模式變化δ表的曆史嗎

[User16869510359]

我有一個差值表,在多個提交模式變化。我想跟蹤所有這些模式變化發生在三角洲表。“描述曆史”不是有用的,因為它的日誌模式變更由ALTER TABLE操作。

[User16869510359 · Accepted solution]

當執行寫操作列補充道。我們沒有明確表明

描述曆史輸出。隻有一個條目為寫作。操作參數,不顯示任何關於模式演化。而如果我們做alter table然後明確顯示。

下麵的代碼片段查詢三角洲事務日誌給我們細節上的所有模式變化做表(替換表位置與三角洲表位置)

spark.read.json (“dbfs: / tmp /哈裏/δ/緩存/測試/ 2 / _delta_log / * . json) .createOrReplaceTempView (“delta_log”)顯示(火花。sql(“選擇metadata.schemaString input_file_name()從delta_log元數據在哪裏不空”))