嗨專家新數據磚和我想知道數據磚支持實時商業智能報表需求?

[BasavarajAngadi]

三角洲湖有3個水平來維護數據質量(青銅、白銀和黃金表)但這報告和支持

BI解決方案如何支持流媒體分析?

例子:我有一個應用程序,加載的所有操作數據adls gen 2和我想要使用這些數據將幫助我支持實時報告需要我還需要建立一個報告的所有曆史數據存儲在adls gen 2。

所以這個我需要存儲數據到兩個不同的容器ADLS代嗎?一個容器將所有曆史數據和其他存儲的數據以支持實時報告?和上述要求我要使用相同的火花集群同時支持實時報表需求以及與所有曆史數據的描述性分析。

[werners1]

不完全是。同時λ基本上是流+批。

你可以實現這一磚。

實時數據吞入自己的blob存儲,並運行,數據報告。

還將數據轉換為外彙期貨黃金層在批處理和報告。

但你不需要單獨存儲的實時或接近實時和批量。

有單獨的SQL工作負載集群和ETL /英語教學是一個好主意,雖然技術上沒有必要。但我想這樣做。

[BasavarajAngadi]

@Werner Stinckens我認為我們需要與支持團隊在這…需要連接SQL數據磚MicroStrategy的終點。

磚是我們的一個中心的未來,我想要了解消除λ架構。

雖然存儲ADLS gen 2 .....相同為實時做報告,卡夫卡價值總是一天的數據存儲在卡夫卡集群或一周的數據最大支持實時分析所以我們想把一天的數據存儲在單獨的容器和支持實時和年的數據在不同的容器支持批處理和曆史報告。

需要了解....讓我們知道如何連接支持團隊

[werners1]

https://docs.microsoft.com/en-us/azure/databricks/integrations/bi/microstrategy

你提出的解決方案有兩個容器(1為實時和一個長期)當然是可能的,但不是必需的。

你可以土地所有數據到一個青銅層(流)為例。從這一層,繼續前進。

主要注意的一點是,你應該盡量減少查詢源係統上的負載(避免攝入相同的數據的兩倍)。

[BasavarajAngadi]

@Werner Stinckens如果我什麼都保持在一個容器支持批處理和實時分析如何?

例子:我有一個容器與三角洲表有2年的數據支持曆史數據的BI報告。

如果我使用相同的三角洲表如何支持實時它不必要的掃描所有2年數據不需要,肯定會影響性能。

支持實時我需要有1或2天的數據對嗎?

你在這裏讓我解決?

[werners1]

我明白了。我覺得你比我有另一個“容器”的理解。

基本上你談論的是2“表”,一個實時的和一個批處理。

而這肯定是一個選擇,你也可以把它在一個表上使用分區。實時查詢你可以申請一個過濾器在分區列應用分區修剪(隻有選擇相關的分區)。