介紹Databricks工作流

今天我們激動地介紹磚的工作流,完全管理的業務流程服務該平台與Databricks Lakehouse平台深度集成。Beplay体育安卓版本工作流使數據工程師、數據科學家和分析師能夠在任何雲上構建可靠的數據、分析和ML工作流，而無需管理複雜的基礎設施。最後，每個用戶都有權為他們的業務計劃交付及時、準確和可操作的見解。

湖屋使得企業更容易開展雄心勃勃的數據和機器學習計劃。然而，編排和管理生產工作流是許多組織的瓶頸，需要複雜的外部工具(例如Apache workflow)或特定於雲的解決方案(例如Azure數據工廠、AWS步驟函數、GCP工作流)。這些工具將任務編排從底層數據處理平台中分離出來，這限製了可觀察性，並增加了最終用戶的總體複雜性。Beplay体育安卓版本

Databricks Workflows是為您的所有數據、分析和人工智能需求提供全麵管理的編排服務。與底層lakehouse平台的緊密集成確保您在任何雲上創建和運行可靠的生產工作負載，同時為最終用Beplay体育安卓版本戶提供簡單的深度集中監控。

在任何地方編排任何事情

工作流允許用戶使用構建自動管理的ETL管道，包括攝取和沿襲Delta活動表．您還可以將notebook、SQL、Spark、ML模型和dbt的任何組合編排為崗位工作流程，包括對其他係統的調用。工作流可跨GCP、AWS和Azure使用，為您提供充分的靈活性和雲獨立性。

可靠和全麵管理

從一開始就高度可靠，工作流中的每個工作流和每個任務都是隔離的，使不同的團隊能夠協作，而不必擔心影響彼此的工作。作為一個雲原生編配器，工作流管理您的資源，因此您不必這樣做。您可以依賴工作流來支持任何規模的數據，加入到成千上萬的客戶中，他們每天都在多個雲上使用工作流啟動數百萬台機器。beplay体育app下载地址

為每個用戶創建簡單的工作流

當我們構建Databricks工作流時，我們希望讓任何用戶、數據工程師和分析師都能簡單地編排生產數據工作流，而不需要學習複雜的工具或依賴it團隊。考慮以下訓練推薦ML模型的示例。在這裏，工作流用於編排和運行七個單獨的任務，這些任務攝取訂單數據自動加載程序，使用標準的Python代碼過濾數據，並使用MLflow筆記本管理模型訓練和版本控製。所有這些都可以由數據團隊使用工作流UI構建、管理和監控。高級用戶可以使用包含CI/CD支持的具有表現力的API構建工作流。

Databricks工作流允許我們的分析師輕鬆地創建、運行、監控和修複數據管道，而無需管理任何基礎設施。這使他們能夠完全自主地設計和改進ETL流程，為客戶提供必要的見解。我們很高興將我們的氣流管道轉移到Databricks工作流。”Anup Segu，高級軟件工程師，YipitData

工作流監控集成在湖屋

隨著您的組織創建數據和ML工作流，管理和監控它們變得非常必要，而不需要部署額外的基礎設施。工作流集成了Databricks中現有的資源訪問控製，使您能夠輕鬆地管理跨部門和團隊的訪問。此外，Databricks工作流包括本機監控功能，以便所有者和管理人員可以快速識別和診斷問題。例如，新推出的矩陣視圖讓用戶一眼就能對不健康的工作流運行進行分類:

由於單個工作流已經被監控，工作流指標可以與現有的監控解決方案集成，如Azure Monitor、AWS CloudWatch和Datadog(目前處於預覽版)。

“Databricks工作流解放了我們處理運行日常工作流的後勤工作的時間。通過新實現的修複/重新運行功能，可以在代碼修複之後繼續作業運行，而不必在修複之前重新運行其他已完成的步驟，從而幫助減少工作流程周期時間。結合ML模型、數據存儲和SQL分析儀表板等，它為我們提供了一整套管理大數據管道的工具。”吳燕燕副總裁，Wood Mackenzie - A Verisk業務非常規油氣數據主管

開始使用Databricks工作流

為了體驗一個完全管理的集成湖屋編碼器提供的生產力提升，我們邀請您今天創建您的第一個Databricks工作流。

在Databricks工作區中，選擇Workflows，單擊Create，按照UI中的提示添加第一個任務，然後添加後續任務和依賴項。了解更多Databricks工作流程訪問我們的網頁而且閱讀文檔．

觀看下麵的演示，發現Databricks工作流的易用性:

在接下來的幾個月裏，您可以期待更容易編寫和監視工作流的功能。在此期間，我們會的很高興收到你的來信關於你的經曆和其他你想看到的特點。