你好,
我的問題是我們如何設置和報警數據質量管道嗎?
背景:
我們想要設置一個數據質量管道,以確保我們每天收集的數據是一致的和完整的。
我們將使用關鍵指標中發現青銅JSON數據來確定數據質量。如果數據質量低於預設閾值我們希望得到通知和ETL過程應該停止為了防止壞數據加載到銀/金和ML模式。
解決跨多個數據源和理想的規模應該視覺我們可以快速地識別問題和修複管道出現問題時(如DataFactory但AWS)。
目標:
- 視覺管道編排設置管道和快速識別瓶頸和問題
- 可伸縮的警報/通知使用關鍵指標裏麵我們可以改變的數據
- 警報/通知應通過鬆弛發送到多個團隊成員。
- 保障措施阻止壞數據進入我們毫升模型。我。e停止管道如果數據質量檢查失敗
魔杖的解決方案:
如果我有一根魔杖,我們會有一個視覺管道編製工具,可以幫助我們設置/編排每個管道,管道視覺識別瓶頸和警報數據質量檢查失敗時不同的團隊成員根據管道。
讓我知道如果這個解決方案存在或如果你有建議我們如何可以快速設置類似的東西。
謝謝!
K
