由於每個人加入會話數據架構的最佳實踐讓工作負載使用CI / CD生產。你可以按需訪問會話記錄在這裏中的代碼磚實驗室CI / CD模板回購。
發布以下是提問和回答的一個子集。請後續提問或添加評論線程。
問:與氣流調度筆記本的例子是什麼?
檢查博客詳細數據磚之間的集成和氣流和閱讀文檔與示例(AWS|Azure|GCP)。另外,看一看多任務工作能力,這是一個Databricks-Native工作調度器。
問:AWS MWAA也使用筆記本電腦嗎?
是的,文檔顯示,磚的連接對AWS MWAA可用。
問:單元測試和集成測試——測試框架有筆記本嗎?
會話有一個例子使用納特和pytest利用一個框架。這裏有幾個鏈接的文檔你看一看:
1。https://github.com/microsoft/nutter(集成測試)
2。https://docs.pytest.org/en/6.2.x/(單元測試)
肯定有其他框架代碼取決於你測試和測試的性質正在進行,但是我們喜歡這些框架由於開源工具的簡單和自然。
問:是否可以整合MLFlow部署模型工件在CI / CD過程?
是的,請看看這個博客,使用MLOps MLflow和Azure。
你的後續問題添加到線程!
