取消
顯示的結果
而不是尋找
你的意思是:

向前火花Datadog結構化流指標

Lizz
新的貢獻者二世

我們有一個火花流媒體應用程序寫在Pyspark與Datadog我們想監控。默認情況下,datadog收集幾流指標如spark.structured_streaming.processing_rate”和“spark.structured_streaming.latency”。然而,經過設置的logs_enabled:真”和“spark.sql.streaming。metricsEnabled = true“集群中的init腳本。我們仍然無法看到任何datadog流指標。在一些研究中,似乎我們需要實現一個新類的StreamingQueryListener從引發流做這項工作。這個假設是正確的嗎?如果是這樣的話,有可能實現這個在Python中而不是Scala ?我還沒有看到任何Python實現任何地方。我會很感激如果有人能指出我任何例子如果可能的話。任何幫助將不勝感激!

1接受解決方案

接受的解決方案

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@Liz張,請參考以下文檔包含pyspark streamingQueryListener的實現

//www.eheci.com/blog/2022/05/27/how-to-monitor-streaming-queries-in-pyspark.html

在原帖子查看解決方案

2回答2

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@Liz張,請參考以下文檔包含pyspark streamingQueryListener的實現

//www.eheci.com/blog/2022/05/27/how-to-monitor-streaming-queries-in-pyspark.html

Kaniz
社區經理
社區經理

嗨@Liz張,我們一直沒有收到你最後的回應@Shanmugavel Chandrakasu,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map