DLT管道故障,檢測到一個數據更新……這是目前不支持

[bakselrud]

我們使用DLT管道磚工作區由微軟Azure平台失敗的間歇性和不清楚原因。Beplay体育安卓版本

管道如下:

spark.readStream.format(“δ”)。選項(“mergeSchema”,“真正的”)。選項(“ignoreChanges”,“真正的”).load (topic_name)

dlt.create_streaming_live_table (…)

dlt.apply_changes (

目標= target_table_name,

源= f“序列({topic_name})”,

鍵=(“關鍵”),

sequence_by =坳(“序列”),

stored_as_scd_type = " 1 "

)

至此,管道工作或不工作,根據周的日子(月球階段),輸入數據是相同的!它可能工作幾天,然後發出一個錯誤:“

org.apache.spark.sql.streaming。StreamingQueryException:查詢MAIN_FLOW_MOVES [id = e8a4577a - 5 - d1a 4 - bfb 9801 - 8 f47c8534f05 runId = b9364adb-a8d1-4ccf-af30-f00ad5b66520]終止與例外:發現一個數據更新(例如部分- 00004 - 7397764 - 432 - 48 - a1 - - c - a104 - 03192 - f199def c000.snappy.parquet)在源表版本3。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。

要求完成SCD 1型滿意:每個唯一鍵都有獨特的序列號和沒有出現衝突或不一致的可能性。我們已經檢查很多次。

正如我所說,相同的管道工作或不工作沒有任何變化和不穩定行為的原因還不清楚。就我而言,所有條件正確並持續完成SCD 1型攝入已經滿足。

請幫助我們理解這種不穩定行為的原因。這影響我們的能力去忍受這個應用程序。

[bakselrud]

我想在這個問題上提供一個更新。

我們有另一個DLT管道,這是一個非scd 1型(批處理)。這個管道也沒有相同的錯誤消息顯示在我之前的文章。本管道中的數據完全不同(源和結構)不是一個複雜的遞歸結構,但隻是一個平麵有50個靜態字段的記錄。所以沒有機會的模式改變了。也沒有機會鍵/序列包含重複,我們已經仔細檢查幾次。

這個管道正確工作在過去的3個月。昨天失敗了。和失敗在這個管道也發生過,該管道工作後再與我們介紹沒有變化,隻是反複重新啟動它。

這真的看起來飄忽不定的我,我不能理解相關的任何數據或邏輯相關的原因,將負責這都在我們的控製之下。

為了獲得對問題的理解,我將再次請求它,如果你可以提供一些背景生成錯誤消息(早前發布的文章)。錯誤消息的內容對我沒有意義,不允許我思考可能的原因。

[杜利]

如果你也可以發送簡單的代碼同樣的錯誤我們可以通過+ DAG,將不勝感激。

[bakselrud]

我希望你可以解釋在什麼條件下生成錯誤在我原來的文章。

現在,我必須開始考慮如何複製它使用一個簡單的管道和操縱數據。

你的幫助將會幫助我在調查

[杜利]

所以從我的研究中,你有一個domino影響的一個錯誤。一旦你申請更改一個表後你不能流,但是你有一個觀點,然後一個表你看表中的錯誤,而不是視圖。現在如果你有插入你不會看到這些錯誤(因此,有時工作),但如果你有更新,您將看到這些錯誤。

選項1:你可以做MAIN_FLOW_MOVES功能步驟,嚐試應用更改之前結構管道做所有申請變更前的過濾和處理命令。

選項2:所以ignoreChanges——它將傳播但你將不得不應對——重複這是文檔。然而,ignoreChanges你必須做一個火花。readStream將打破你的管道,因為這不是一個DLT流函數。這就是為什麼你可能會在兩個管道與磚工作流的縫合在一起。

現在既然你使用此功能很多我建議你點擊“反饋”按鈕在你的磚,要求這個特性是一個高優先級和盡快完成,這樣你就可以流從一個表,應用改變了在一個單一的管道。我也會做同樣的事在內部嚐試的意識。

[bakselrud]

如果我理解正確的話,我可以有一個管道有一個步驟——SCD 1型和它應該工作嗎?

目前看來,如果我清楚在沛富管道文件目錄和管道從頭開始,它能夠執行的所有步驟如果我運行批處理然後停止。然而隨後的運行失敗。如果我再次明確管道目錄並運行它,它的工作原理。

所以我懷疑會有一些詭計讓州/檢查點的方式。

我們的管道是精心設計和使用許多步驟。如果我必須打破這些管道分成多個策劃部分,它會變得非常麻煩。

但它將是一個好為零的問題到底是什麼,因為我們可能等待修複這是不相關的。我們將跟隨你的建議,隻是為了評估的目的,但最終管道必須工作無論什麼鏈的操作需要