增量攝入雪花數據與達美住表(CDC)

[卡裏爾]

你好,

我有一些數據躺成雪花,所以我想申請美國疾病控製與預防中心對他們使用三角洲住表但我有一些問題。

這就是我想做的事:

def table1 @dlt.view()():返回spark.read.format(“雪花”).options(* *選項)。選項(“查詢”,查詢).load () def.create_streaming_table dlt(目標)。apply_changes(源=“表1”目標= '目標' ....)

相同的代碼運行如果我正在讀一個三角洲表但如果雪花有如下錯誤

“org.apache.spark.sql。AalysisException:源數據應用更改目標“XXXXX”必須是一個流媒體查詢”

有一個解決方案或解決方法你可以幫我嗎?

[werners1]

CDC對於生活沒問題δ的表,你已經注意到。但是這不是一個全麵的疾病預防控製中心/軟件實現。

如果你想捕捉變化的雪花,雪花上必須實現一些疾病預防控製中心方法本身,和閱讀這些變化成磚。

有幾種方法,如使用雪花流
或者一個商業中心軟件。

根據你的情況,你還必須把磚之間的一些事件隊列和雪花(就像卡夫卡或脈衝星或……)。

[卡裏爾]

我點了,謝謝你的回應。

這是我的數據是如何組織的

• 我有兩個表在雪花
  • 表1:每周包含所有好的數據表
  • 日誌表:表隻包含1周的變化發生在第一個數據(更新、刪除…)

我應該與表1,但因為它生長迅速,我不能總是負載成磚隨時兌現表,這個想法

• 加載table1磚
• 使用表每周更新table1通過使用與dlt疾控中心

你認為可以最好的方法在這種情況下,如果我們正在與dlt嗎?

[卡裏爾]

終於從這個博客,我跟著步驟,一切工作正常。

//www.eheci.com/blog/2022/04/25/simplifying-change-data-capture-with-databricks-delta-liv..。

我隻是認為我表而不是平麵文件來源。

閱讀的快樂!