任務如何編排與氣流(Databricks-only工作)?

[arthur_wang]

我的一個客戶已經編排磚筆記本使用氣流+ REST API。他們好奇的優點/缺點這些工作轉向磚工作任務編排。

我知道有各種各樣的因素——例如,如果他們已經運行氣流non-Databricks工作,他們將最有可能繼續使用氣流集中工作流管理。但我好奇人們的經驗與任務編排,以及氣流的特性或好處它可能工作100%磚。

[Kaniz]

你好@arthur.wang!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我們將很快跟進與回複。

[羅莉]

我們有一個設置有兩種類型的業務流程。分割可以歸結為易用性。例如通過氣流ETL作業運行,但一些筆記本電腦,用戶隻是想為自己安排磚內完成。

隻是更容易點擊“時間表”,選擇一個集群和完成它,而不是編寫一個氣流或DAG任務。數據科學家不想學習如何使用特定的調度軟件——他們隻是想要每天早上他們的筆記本電腦運行。

[Shourya]

@Kaniz開羅

你好Kaniz,我目前的工作與企業的主要客戶尋求使氣流之間的選擇和磚工作調度。我們整個代碼庫磚,我們正在試圖找出可能出現的複雜性與磚如果我們繼續。你能提供任何細節這個問題——在磚和氣流?我們本質上是尋找重試、通知和實時用例場景任務依賴嗎?如果你能請包括如何利益/不利益不同的員工數據分析/數據科學家等。