取消
顯示的結果
而不是尋找
你的意思是:

多個流源相同的δ表

哈裏
貢獻者

有可能有兩個流源做合並到同一個三角洲表每個源設置一組不同的字段?

我們試圖創建一個表,將服務層所使用的查詢。表可以從多個源表填充每個貢獻一組字段水槽模式。

查詢樣例場景:

並入水槽使用source_a source_a。id =下沉。當匹配然後更新設置id = source_a id。id = source_a總結。總結,描述= source_a.description customerId = source_a。customerId不匹配時然後插入(id、摘要、描述、customerId)值(source_a。id, source_a。總結,source_a.description source_a。customerId)
並入水槽使用source_b source_b.customer。id =下沉。當匹配然後更新設置customerId = source_b customerId。customerId, customerName = source_b。customerName customerIndustry = source_b.customerIndustry

我新流,想知道是否有一些方法來實現這種使用流媒體查詢。目前看到的訂單問題合並數據時水槽,但有什麼可以做,這個問題。

4回複4

Zachary_Higgins
貢獻者

不確定你的分區模式,但是要小心,你可以遇到問題並發更新相同的分區。並發控製|磚在AWS上。在這種情況下,我通常設置觸發運行一次,每個合並更新同步運行,並將安排工作。

什麼樣的“秩序”的問題你看到了嗎?

哈裏
貢獻者

嗨@Zachary希金斯

謝謝你的回複

目前,我們還使用觸發器。一旦這樣我們可以妥善處理合並流依賴關係。但不知道我們是否可以擴展我們的管道流在未來通過改變觸發時間

謝謝你的頭有關並發性,我是假設一個悲觀並發控製δ處理並發寫入相同的分區沒有異常或數據損壞。

我不認為我們可以支持完整的流管道如果可以並發問題

Kaniz
社區經理
社區經理

嗨@Zachary希金斯,我們一直沒有收到你最後的回應@Harikrishnan P H,我檢查是否你有一個決議。如果你有任何解決方案,請與社區共享相同的,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

Shourya
新的貢獻者三世

嗨@Kaniz開羅

我在找類似的用例,我們有多個源表在青銅/銀,需要將數據推送到目標表相同。我們采用了一個數據庫作為銀我們的數據模型。如果你能提供一些文檔或URL,就太好了。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map