嗨專家新數據磚和我想知道數據磚支持實時商業智能報表需求?

[BasavarajAngadi]

三角洲湖有3個水平來維護數據質量(青銅、白銀和黃金表)但這報告和支持

BI解決方案如何支持流媒體分析?

例子:我有一個應用程序,加載的所有操作數據adls gen 2和我想要使用這些數據將幫助我支持實時報告需要我還需要建立一個報告的所有曆史數據存儲在adls gen 2。

所以這個我需要存儲數據到兩個不同的容器ADLS代嗎?一個容器將所有曆史數據和其他存儲的數據以支持實時報告?和上述要求我要使用相同的火花集群同時支持實時報表需求以及與所有曆史數據的描述性分析。

[werners1]

三角洲湖不水平。銅/銀/金湖是一個概念結構數據。

你不需要一個單獨的ADLS容器,我甚至會建議反對它。為什麼?好吧,無論如何,您必須攝取數據,所以最好隻做這一次(一個容器)。在一個容器可以結構數據任何你想要的方式。它不需要銅/銀/金,但可以是任何適合你/你的公司。我建議預見某種結構,它將幫助你從長遠來看。

報告的一部分:如果你想運行報告,磚SQL比經典的火花集群(excel在工程/毫升)。磚SQL支持並發的離岸金融中心。

[BasavarajAngadi]

@Werner Stinckens然後我需要使用磚SQL終點連接到BI工具嗎?

如果是的,那麼我應該創建單獨的集群運行時火花嗎?這意味著我需要兩個火花集群運行ETL或英語教學工作和另一個查詢δ表?

[werners1 · Accepted solution]

你當然可以BI工具連接到“經典”集群。沒問題,但磚SQL優化的快速閱讀查詢(分析工具)。所以你會得到更好的性能。

[BasavarajAngadi]

@Werner Stinckens在這個上下文數據磚消除了需要λ架構如何?我們還是需要兩個簇火花一個etl過程或英語教學工作和其他連接BI工具(SQL終點)