性能數據lakehouse效率

本文涵蓋了建築的原則性能效率支柱,指的是一個係統來適應負荷變化的能力。

性能效率原則

使用serverless服務
Serverless服務不需要客戶運作和維護雲計算基礎設施。beplay体育app下载地址這就消除了管理雲基礎設施的運營開銷,降低交易成本,因為管理服務運行在雲的規模。他們還提供立即可用性、開箱即用的安全,需要最少的配置或管理。
設計工作負載性能
重複的工作負載,比如數據工程管道、性能不應該是一個事後的想法。數據必須:
- 有效地讀取對象的內存。
- 有效地改變了。
- 有效地發布消費。
此外,大多數管道或消費模式使用一連串的係統。為了達到最好的性能,必須考慮整個鏈和選擇最好的性能。
運行性能測試的範圍發展
每一個開發工作負載必須經過持續性能測試。代碼庫的測試確保任何變化不影響工作負載的性能。建立一個定期運行測試。運行測試的一部分預定事件或持續集成構建管道的一部分。
建立性能基線和確定工作負載的電流效率和支持基礎設施。測量性能對基線可以提供的改進策略,並確定應用程序是否滿足業務目標。
識別可能影響性能的瓶頸。這些瓶頸可能是由於代碼錯誤或錯誤配置的服務。通常,瓶頸惡化隨著負載增加。
監視性能
確保資源和服務仍然是可以訪問的,性能滿足用戶期望或負載需求。監視可以幫助你識別瓶頸或資源不足,優化配置和檢測管道/負載錯誤。