我已經閱讀這篇文章
//www.eheci.com/session_na20/native-support-of-prometheus-monitoring-in-apache-spark-3-0已經提到的,我們可以得到火花流指標如輸入行,處理速度和批處理時間成普羅米修斯。
我能夠得到主機/下文指標如記憶、磁盤等通過下麵的API。
https://eastus-c3.databricks.net/driver-proxy-api/o/ < org-id > / < cluster-id > / 40001 /標準/執行人/公關……
我不能找到任何api或引用流指標,處理信息等任何幫助那些流UI指標普羅米修斯怎麼走嗎?
火花在集群配置被設置:
spark.ui.prometheus。使真正的
spark.sql.streaming。metricsEnabled真實