體係結構的選擇,流數據

[baatchus]

我有傳感器數據進入Azure事件中心,需要一些幫助在決定如何最好地攝取到數據湖泊和三角洲湖:

選項1:

azure事件中心>磚結構的流>三角洲湖(青銅)

選項2:

azure事件中心>事件中心捕獲azure數據創2 >磚自動裝卸機>湖三角洲湖(青銅)

僅不需要實時處理。請選擇每一種選擇的理由. .

[Kaniz]

你好@baatchus!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Ryan_Chynoweth · Accepted solution]

嗨@baatch我們,這是一個很好的問題。選項1是非常理想的如果你需要實時處理數據。因為你說,你隻需要處理數據,當你需要我認為選項2是給你一個更好的選擇。

選項1需要24/7處理集群(即24/7)比你需要付出更大的代價。因為你可以批處理選項2更符合成本效益。活動中心應該允許你直接轉儲到ADLS沒有一個中間的工具。

如果你需要流處理不會很難切換你的兩個選擇。

[baatchus]

@Ryan Chynoweth

謝謝你的回複。

選項1可以配置為觸發一次,所以這兩種選擇都可以被看作是批處理。所以需要決定什麼是最好的和最成本有效的選擇嗎?還記住Azure事件中心隻有7天保留如果架構中重要的決定?

選項1(觸發一次,每24小時)

azure事件中心>磚結構的流>三角洲湖(青銅)

選項2(觸發一次,每24小時)

azure事件中心>事件中心捕獲azure數據創2 >磚自動裝卸機>湖三角洲湖(青銅)

[Ryan_Chynoweth]

我認為應該考慮保留7天。這可能是一個好主意去選項1的數據管道和使用觸發一次的選擇。但我也會使用數據捕獲能力在中心存檔所有數據原始著陸區。