構建可靠的生產數據和ML管道與Git支持磚工作流

我們很高興宣布Git的原生支持磚的工作流,使我們的客戶建立可靠的生產數據和ML工beplay体育app下载地址作流使用現代軟件工程最佳實踐。beplay体育app下载地址客戶現在可以使用遠程Git引用作為任務組成的源數據磚工作流程,例如,一個筆記本的主要分支在GitHub庫可用於筆記本電腦的任務。通過使用Git作為真理的來源,客戶消除意外編輯產品代碼的風險。beplay体育app下载地址他們也刪除代碼的維護生產副本的開銷在磚和保持更新,並改善再現性是每個工作運行綁定到一個散列。Git支持工作流可以在公共預覽和使用範圍廣泛的磚Git支持提供者包括GitHub, Gitlab, Bitbucket都,Azure Devops, AWS CodeCommit。

beplay体育app下载地址客戶已經要求我們的方法來強化他們的生產部署隻允許同行評審和測試代碼運行在生產。進一步,他們要求的能力,簡化他們的工作流程的自動化,提高再現性。在磚Git支持工作流已經幫助眾多客戶實現這些目標。beplay体育app下载地址

“能夠將工作到一個特定的Git存儲庫和分支已經超價值。它使得我們變硬部署過程,灌輸更多的保障在進入生產,防止意外編輯督促工作。我們現在可以追蹤每一個變化,通過相關的Git提交和PRs工作。”- said Chrissy Bernardo, Lead Data Scientist at Disney Streaming

“我們使用git的磚起程拓殖提供者定義工作的來源。這個特性簡化我們的CI / CD安裝,替換之前的python腳本和起程拓殖代碼,解除了我們的管理生產的副本。它也鼓勵良好的實踐使用Git作為筆記本的來源,保證原子集合相關的筆記本”的變化——說Edmondo Procu,聰明的生物工程主管。

“回購現在的黃金標準我們的使命至關重要的管道。熟悉我們的團隊可以有效地開發,豐富的筆記本經驗磚提供,可以自信地與Github管道更改部署我們的真理——極大地簡化CI / CD。也容易建立ETL工作流引用Github不離開磚UI工件。資深軟件工程師”——說Anup Segu YipitData

“我們能夠降低我們的生產部署的複雜性了三分之一。不再需要保持一個專門生產複製和CD係統,調用api來更新它。”- says Arash Parnia, Senior Data Scientist at Warner Music Group

開始

隻需幾分鍾開始:

這些行動也可以執行通過v2.1和v.2.0 API的工作。

一旦你已經添加了Git引用您可以使用相同的參考其他筆記本任務的工作與多個任務。

每一個筆記本任務工作現在將獲取的預定義的提交/分支/標記在每次運行時庫。每次運行git commit沙將被記錄,保證所有筆記本任務的工作運行相同的提交。

請注意,在一個多任務工作,不可能有一個筆記本任務使用一個筆記本在磚工作區或回購和另一個任務使用一個遠程存儲庫。這一限製並不適用於兒童的任務。

1. 首先,您需要添加你的Git提供者個人訪問令牌(PAT)令牌磚。可以在UI中通過設置>用戶設置> Git集成或編程方式通過磚Git憑證的API
2. 接下來,創建一個工作,指定一個遠程存儲庫,一個git ref(分支、標記或提交)和筆記本的相對路徑(相對於存儲庫的根目錄中)。
3. 添加更多的任務來你的工作
4. 運行工作,查看其詳細信息

磚筆記本的所有任務的工作運行相同的Git提交。對於每個運行,提交記錄和可見的UI。你也可以從工作得到這個信息的API。

準備好開始了嗎?Git支持工作流兜風或更深入與以下資源:

• 深入研究磚工作流文檔
• 看看這個代碼示例以及隨之而來的網絡研討會記錄顯示一個端到端筆記本生產流程使用Git磚工作流的支持