我知道已經有DataDog磚(火花)技術集成。不幸的是,集成隻涵蓋了集群執行本身,這意味著集群指標和火花工作和任務。我在找一些能讓我跟蹤指標對磚的工作(如成功運行工作,任務失敗,等等)。
目前,它似乎是我唯一的選擇是結合使用webhook通知任務內的工作和自定義代碼。不幸的是,這種具有以下缺點:
- 我們使用PySpark如果我得到一個內核反應遲鈍的錯誤,那麼我不會能夠報告指標自定義代碼。
- web鉤通知不生產事件準備使用自定義指標在DataDog所以我必須創建一些自定義處理程序映射從web /豐富的事件相關聯。
我覺得這不是一個獨特的挑戰,我不是唯一一個將尋找這樣的東西,所以在我走之前製作一些自製的兔子洞為了解決這個問題,我想我應該檢查與社區/磚支持,看看我丟失的東西。
