REST API為流監測

[Baldrez]

你好,每個人。我最近開始使用磚在Azure的我的問題可能是非常基本的但是現在我很困。

我需要捕捉一些流指標(輸入的行數和時間)所以我試著使用Rest Api火花,然而我得到以下錯誤:“沒有流偵聽器附加到磚層”。我嚐試不同的解決方案我看過視頻或教程,但沒有工作到目前為止(這隻發生當我試圖讓流統計,如果我使用API工作或階段,按預期得到json)。

這是我試圖運行的代碼:

進口進口json請求driverIp = spark.conf.get (spark.driver.host)端口= spark.conf.get (spark.ui.port) temp_url = F”http:// {driverIp}:{港口}/ api / v1 /應用程序”temp_r =請求。得到(temp_url超時= 10.0)content_r = json.load (temp_r.content) app_id = content_r [0] [id”url = F”http:// {driverIp}:{港口}/ api / v1 /應用程序/ {app_id} /流/統計”r = requests.get (url)打印(r.content)

我知道我應該把流媒體聽眾為了得到我所需要的指標但是我還是不明白如何在代碼中實現它。有人能幫助我在這個問題上嗎?

提前謝謝

[匿名]

嗨@Roberto Baldrez——我叫派珀,我社區版主之一。謝謝你的問題。讓我們給它一點看看社區說。謝謝你的耐心。

[User16763506477 · Accepted solution]

嗨@Roberto Baldrez,您將需要添加以下配置集群

spark.sql.streaming。* .sink.servlet metricsEnabled如此。類org.apache.spark.metrics.sink。MetricsServlet * .sink.servlet。路徑/標準/ json master.sink.servlet。路徑/標準/主/ json applications.sink.servlet。路徑/標準/應用程序/ json

URL將改變“http:// < driverIP >: <口> /標準/ json /“你提到的一個是DStream應用程序

注意:這使有限流指標。如果你需要所有指標您需要添加指標沉到集群。

更多信息

• https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html reporting-metrics-p……
• https://spark.apache.org/docs/latest/monitoring.html指標
• https://www.datadoghq.com/blog/databricks-monitoring-datadog/

[jose_gonzalez]

嗨@Roberto Baldrez,

如果你認為@Gaurav Rupnar解決你的問題,那麼請選擇它作為最好的回應可以移動到頂部的主題,它將幫助在未來更多的用戶。

謝謝你！