取消
顯示的結果
而不是尋找
你的意思是:

REST API為流監測

Baldrez
新的貢獻者二世

你好,每個人。我最近開始使用磚在Azure的我的問題可能是非常基本的但是現在我很困。

我需要捕捉一些流指標(輸入的行數和時間)所以我試著使用Rest Api火花,然而我得到以下錯誤:“沒有流偵聽器附加到磚層”。我嚐試不同的解決方案我看過視頻或教程,但沒有工作到目前為止(這隻發生當我試圖讓流統計,如果我使用API工作或階段,按預期得到json)。

這是我試圖運行的代碼:

進口進口json請求driverIp = spark.conf.get (spark.driver.host)端口= spark.conf.get (spark.ui.port) temp_url = F”http:// {driverIp}:{港口}/ api / v1 /應用程序”temp_r =請求。得到(temp_url超時= 10.0)content_r = json.load (temp_r.content) app_id = content_r [0] [id”url = F”http:// {driverIp}:{港口}/ api / v1 /應用程序/ {app_id} /流/統計”r = requests.get (url)打印(r.content)

我知道我應該把流媒體聽眾為了得到我所需要的指標但是我還是不明白如何在代碼中實現它。有人能幫助我在這個問題上嗎?

提前謝謝

1接受解決方案

接受的解決方案

User16763506477
貢獻者三世

嗨@Roberto Baldrez,您將需要添加以下配置集群

spark.sql.streaming。* .sink.servlet metricsEnabled如此。類org.apache.spark.metrics.sink。MetricsServlet * .sink.servlet。路徑/標準/ json master.sink.servlet。路徑/標準/主/ json applications.sink.servlet。路徑/標準/應用程序/ json

URL將改變“http:// < driverIP >: <口> /標準/ json /“你提到的一個是DStream應用程序

注意:這使有限流指標。如果你需要所有指標您需要添加指標沉到集群。

更多信息

在原帖子查看解決方案

3回複3

匿名
不適用

嗨@Roberto Baldrez——我叫派珀,我社區版主之一。謝謝你的問題。讓我們給它一點看看社區說。謝謝你的耐心。

User16763506477
貢獻者三世

嗨@Roberto Baldrez,您將需要添加以下配置集群

spark.sql.streaming。* .sink.servlet metricsEnabled如此。類org.apache.spark.metrics.sink。MetricsServlet * .sink.servlet。路徑/標準/ json master.sink.servlet。路徑/標準/主/ json applications.sink.servlet。路徑/標準/應用程序/ json

URL將改變“http:// < driverIP >: <口> /標準/ json /“你提到的一個是DStream應用程序

注意:這使有限流指標。如果你需要所有指標您需要添加指標沉到集群。

更多信息

jose_gonzalez
主持人
主持人

嗨@Roberto Baldrez,

如果你認為@Gaurav Rupnar解決你的問題,那麼請選擇它作為最好的回應可以移動到頂部的主題,它將幫助在未來更多的用戶。

謝謝你!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map