弧使用Lakehouse實時數據架構的見解,優化鑽井性能和更低的碳排放

作為一個領導者在能源發展負責,加拿大公司弧資源有限公司(電弧)是尋找一種方法來優化鑽井性能降低時間和成本,同時也減少燃料消耗,降低碳排放。

為此,他們需要一個數據分析解決方案,可以攝取和可視化領域的運營數據,比如日誌,實時優化鑽井性能。弧的數據團隊的任務是提供一個分析儀表盤可以提供鑽井工程師能夠看到積極測井的關鍵運營指標相比並肩反對曆史日誌。為了實現實時結果,正確的流和儀表板技術所需的解決方案。

電弧已經部署了磚Lakehouse的平台,使其鑽井工程師在接近實時監控操作指標,這樣Beplay体育安卓版本我們就可以提前確定任何潛在的問題和實現敏捷的緩解措施。除了提高鑽孔精度,此解決方案幫助我們減少鑽井時間為我們的一個字段。節約時間可以減少燃料的使用,因此而導致的二氧化碳排放量的減少鑽井操作。

選擇數據Lakehouse架構

為項目,電弧需要一個流媒體解決方案,將使其容易攝取一個持續的生活事件流,以及曆史數據點。關鍵,電弧的業務用戶可以看到指標從一個活躍的(s),除了選擇曆史井在同一時間。

對於這些需求,團隊需要創建數據流之間的對齊規範化鑽探深度和曆史記錄。理想情況下,數據分析解決方案不需要重放和流媒體的曆史數據為每個活動,而不是利用權力BI的數據集成功能來提供這種功能。

這就是三角洲湖湖,一個開放數據的存儲格式,提供了必要的功能來處理所需的流和批量數據操作。研究可能的解決方案後,項目團隊確定三角洲湖了所需的所有特性滿足電弧的流和儀表盤需求。在這個過程中,團隊確定了四個主要優勢提供的三角洲湖為應用程序,使其成為一個合適的選擇:

1. 三角洲湖可以用作結構化流水槽,使團隊逐步以接近實時的處理數據。
2. 三角洲湖可用於存儲曆史數據,可以進行快速優化查詢性能,該團隊需要下遊報告和預測應用。
3. 三角洲湖提供機製,根據需要更新/刪除/插入記錄和必要的速度。
4. 權力BI提供了消費的能力直接和三角洲湖表導入模式,它允許用戶分析流媒體數據和曆史數據以最小的開銷。這不僅降低高入口/ outgress數據流,但也給用戶選擇的選項的曆史以及他們的選擇,並改變它的靈活性增加了分析和決策能力。

這些特征解決所有的困惑,使無縫數據交付BI。

數據攝取和轉換後圖案架構

活動日誌,數據接收到電弧的Azure租戶通過物聯網(物聯網)邊緣設備,是由弧的合作夥伴之一。一旦收到郵件,消息被交付到Azure物聯網中心實例。從那時起,所有數據攝入、計算、和清潔邏輯是通過數據磚。

首先,通過卡夫卡磚讀取的數據連接器,然後將它寫入青銅存儲層。一旦有,另一個結構化流過程選擇,適用於重複數據刪除和重命名列邏輯,最後土地中的數據銀層。一旦在銀層,最後流拿起數據修改流程,適用於計算和聚合,並將數據流和曆史流到活躍。降落在活動中的數據流金層並獲得了儀表板。曆史中的數據流也在金層土地用於機器學習實驗和應用程序,除了儀表板的曆史數據來源。

使核心業務用例的BI儀表板

優化

儀表板的目標是每分鍾刷新數據,和一個完整的刷新周期在30秒內完成,平均。以下是一些團隊克服障礙的旅程提供實時分析。

第一個版本的報告,這份報告花了3 - 4分鍾完成刷新,為業務用戶是太慢了。達到30秒的SLA,團隊實現以下變化:

• 改進的數據模型:在數據模型中,曆史和活躍的數據流居住在不同的表中。曆史數據需要刷新在夜間的基礎上,因此,用於PowerBI導入模式。活動數據,該團隊使用直接查詢模式所以儀表板以接近實時的顯示。兩個表包含上下文數據用於過濾和數值數據用於繪圖。數據模型也提高了實現以下變化:
  • 而不是查詢這些表中所有的列,團隊添加一個視圖層的磚,隻選擇所需的列。這減少I / O和改善查詢性能由20 - 30秒。
  • 查詢曆史數據的所有行,而是團隊篩選視圖隻選擇偏移分析目的所需的行。這些過濾器,I / O的人數明顯減少,提高性能通過50 - 60秒。
  • 項目團隊重新設計了數據模型,上下文數據從數字數據加載在一個單獨的表中。這有助於減少數據模型的大小,避免重複文本數據在整個表基數較低。換句話說,團隊打破了這個平麵表到事實表和維度表。這個改進的性能,10 - 20秒。
  • 通過移除大部分的權力BI數據分析表達式(DAX)計算應用於活性好,並將這些計算視圖層磚,我們用10秒提高性能。
• 減少視覺效果:每一個可視化轉化為一個或多個從權力BI磚的SQL查詢,這導致更多的流量和延遲。因此,團隊決定刪除的一些可視化並不是絕對必要的。這個改進的性能由另一個10秒。
• 權力BI配置:更新數據源設置幫助提高性能的一些20 - 30秒。
• 負載均衡:旋轉2 - 3磚一邊集群來處理查詢負載扮演了一個重要因素在提高查詢的性能,減少排隊時間。

最終的想法

執行實時BI本身是具有挑戰性的,當你流媒體實時日誌或物聯網數據。它同樣具有挑戰性的附近建立一個實時儀表板,它結合了高速大曆史洞察力分析在一個視圖。電弧火花結構化流,利用lakehouse架構,和權力BI這樣做:創建一個統一的儀表板,允許監測關鍵操作參數對活躍日誌,並比較它們的曆史井測井數據感興趣。能夠把從現場油井實時流日誌和豐富曆史數據從所有富國支持關鍵的用例。

結果,團隊能夠獲得運營指標接近實時利用結構化流的力量,三角洲湖建築,磚的速度和可伸縮性SQL和權力BI提供先進的儀表盤功能。

關於弧資源有限公司

弧資源有限公司(電弧)是一個全球領先的能源發展負責,和加拿大第三大天然氣生產國和最大凝析油生產商。Montney多元化資產組合的資源在加拿大西部,電弧提供了一個長期的戰略思維方式,提供有意義的股東回報。

學習更多在arcresources.com。

---

確認:
這個項目是在與磚專業服務合作完成,11月- MD Totco和BDO Lixar。