取消
顯示的結果
而不是尋找
你的意思是:

火花流偵聽器是滯後的

Soma
價值貢獻

我們使用pyspark流偵聽器是落後了10小時

數據流在10點是記錄是下午10點

有人能解釋一下日誌監聽器接口是如何工作的嗎

9回複9

willam45
新的因素

你好,
我有一些寫下來

數據流的行為描述,上午10點是被記錄是下午10點,表明PySpark流媒體應用程序明顯滯後。的PySpark StreamingListener接口不負責導致滯後;它是用來監測和收集有關流媒體應用程序的進程信息。

的PySpark StreamingListener接口允許您創建自定義偵聽器,可以捕獲事件和相關指標的流媒體應用程序的執行。這可以包括事件像批處理,處理的記錄數量和其他執行統計數據。然而,偵聽器本身不影響流媒體應用程序的時間或行為。

如果你麵臨大幅滯後流媒體應用程序的處理時間,你應該調查的其他方麵你的設置來確定原因。

Soma
價值貢獻

@willam45火花流媒體應用程序工作完全從結構化流我可以看到UI

但是我這個自定義偵聽器使用日誌實時提醒有一些問題。

我隻是想知道它是如何處理異步火花如果它就像火和忘記機製

werners1
尊敬的貢獻者三世

添加:
你用的是什麼日誌嗎?

Soma
價值貢獻

我們使用Azure日誌分析和日誌分析我們看不到一個滯後

我們捕捉current_timestamp價值(inprogress)和日誌分析timestamp_Generated(自動列)

時可以得到額外的數據寫入的區別1分鍾和進步。時間戳的流處理時間顯示10點而timestamp_generated和current_timestamp偵聽器代碼是指向當前時間(10點)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map