如何讓火花流指標如輸入行,行和批處理時間為監測普羅米修斯

[Shiva_Dsouz]

我已經閱讀這篇文章

//www.eheci.com/session_na20/native-support-of-prometheus-monitoring-in-apache-spark-3-0已經提到的,我們可以得到火花流指標如輸入行,處理速度和批處理時間成普羅米修斯。

我能夠得到主機/下文指標如記憶、磁盤等通過下麵的API。

https://eastus-c3.databricks.net/driver-proxy-api/o/ < org-id > / < cluster-id > / 40001 /標準/執行人/公關……

我不能找到任何api或引用流指標,處理信息等任何幫助那些流UI指標普羅米修斯怎麼走嗎?

火花在集群配置被設置:

spark.ui.prometheus。使真正的

spark.sql.streaming。metricsEnabled真實

[SS2]

我認為你可以使用火花UI看到深層次細節