火花集群監控和可見性

[Saurav]

嘿。我在做一個項目,我想能夠查看和播放的火花集群指標。我想知道利用%和馬克斯值等指標的CPU、內存和網絡。我試著使用一些開源解決方案(https://github.com/mspnp/spark-monitoring),但我真的不讓我在找什麼。理想情況下,一個解決方案,可以給我見解Azure磚實例的優化使用將是完美的。目前,我可以訪問這些指標在指標選項卡在我的火花集群頁麵靜態圖像但這將是偉大的如果我能導出這些信息做出自己的見解或圖形。

[User16764241763]

你好@Saurav Santhosh

有幾個選項

如果你想看到VM使用您可以發送這些度量Azure日誌分析工作區

https://github.com/Azure/AzureDatabricksBestPractices/blob/master/toc.md附錄a

磚的解決方案

https://databrickslabs.github.io/overwatch/

Datadog

https://www.datadoghq.com/blog/databricks-monitoring-datadog/

//www.eheci.com/blog/2017/06/01/apache-spark-cluster-monitoring-with-databricks-and-datadog.h..。

[匿名]

普羅米修斯在火花3.0中添加

//www.eheci.com/session_na20/native-support-of-prometheus-monitoring-in-apache-spark-3-0

[Kaniz]

嗨@Saurav Santhosh,我們一直沒有收到你最後的回應@Arvind強奸和@Joseph Kambourakis,我檢查看看他們的建議幫助你。否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

[Saurav]

嘿@Kaniz開羅,我欣賞並將調查的建議。還沒有到達所以我不想提及是否為我工作。因為我想要避免像DataDog的解決方案,我將檢查普羅米修斯和@Arvind強奸的第一個建議。謝謝!