2022年6月29日 在產品
數據和AI峰會滿滿磚Lakehouse公告的平台。Beplay体育安卓版本在這些聲明幾個令人興奮增強磚工作流,非常的全麵管理編製服務與磚Lakehouse平台的集成。Beplay体育安卓版本使用這些新功能,工作流使數據工程師、科學家和數據分析師建立可靠的數據,分析和ML工作流在任何雲,而不需要管理複雜的基礎設施。
我們使用Git版本控製我們所有的代碼,所以為什麼不版本控製數據和ML管道?在磚與Git支持工作流,您可以使用Git遠程引用作為任務組成的源數據磚工作流。這就消除了意外的風險生產代碼編輯,刪除代碼的維護生產副本的開銷在磚和保持更新,並提高了再現性為每個工作運行與散列。Git支持工作流可以在公共預覽和使用範圍廣泛的磚Git支持提供者包括GitHub, Gitlab, Bitbucket都,Azure DevOps, AWS CodeCommit。
請查看這篇博客要學習更多的知識。
印度生物技術部是一個流行的開源工具,它允許您使用簡單的SQL構建的數據管道。一切都組織在目錄作為普通文本、版本控製、部署和測試簡單。我們宣布了新的dbt-databricks去年適配器,這讓用戶簡單的設置和Photon-accelerated SQL數據磚。印度生物技術部用戶現在可以運行他們的項目在生產磚使用新的印度生物技術部在工作任務類型,受益於一個高度可靠協調器,為生產工作負載提供了一個優秀的API和語義。
請聯係您的磚代表參加私人預覽。
真實數據和ML管道由許多不同類型的任務一起工作。添加SQL任務類型的工作,你現在可以安排lakehouse的更多。例如,您可以觸發一個筆記本攝取數據,運行一個三角洲住表管道來轉換數據,然後使用SQL任務類型來安排一個查詢和更新儀表板。
請聯係您的磚代表參加私人預覽。
支持真實數據和機器學習用例,組織創建與眾多複雜的工作流任務和依賴性,從數據攝入和ETL毫升模型訓練和服務。這些任務必須以正確的順序完成。然而,當一個重要的任務在一個工作流失敗,它會影響所有下遊任務。新的“修複並重新運行”能力的工作解決了這個問題通過允許您隻運行失敗的任務,節省您的時間和金錢。
“修複並重新運行”通常是可用的,你可以了解它這篇博客。
任務有時可能依賴於上遊任務的結果。例如,如果一個模型數據(如F1分數)低於預定閾值,你想重新訓練模型。以前,為了訪問數據從一個上遊的任務,有必要將其存儲在其他地方,而不是工作的環境中,像一個δ表。
的任務值API現在允許任務設置值,可以通過後續的檢索任務。為了方便調試,工作界麵顯示值指定的任務。
加入的談話試著磚社區data-obsessed同行在哪裏聊天關於數據+人工智能峰會2022公告和更新。學習。網絡。慶祝。
