Lakehosue表結構設計

[KuldeepChitraka]

我們在過程中實現lakehouse使用Azure磚。我們已經有一個datalake到位

• Azure存儲Datalake——原生格式包含容器的數據。

我們如何計劃

• 建立銅層通過創建青銅表從datalake讀取數據並將其存儲在銅表
  • 表將執行模式
  • 沒有分區銅表上
  • 每個表都有_SourceFile & _ingestionDate列除了其他列
• 銀層
  • 表將從青銅包含數據表後應用轉換
  • 表將_loadDateTime列

我們還列應該在青銅&銀表。

我們應該分區方案。我們在銀分區表LoadDateTime能到嗎

[Rishabh264]

嘿@Kuldeep Chitrakar像你說你沒有分區在銅表,所以根據這句話,是好的。但在銀子你要實現分區,所以,我將向您推薦的是為了更好的分區,我們總是與日期列不是datetime列,因為如果你把分區的基礎上日期時間列,這是連續變化,我們總是對SCD執行分區(緩慢變化維度)如果你有任何罕見改變列在你的數據,然後列,如果你沒有這列銀表中添加一個名為“日期”和讓你的分區上的文件日期而不是loadDateTime列