火花流偵聽器是滯後的

[Soma]

我們使用pyspark流偵聽器是落後了10小時

數據流在10點是記錄是下午10點

有人能解釋一下日誌監聽器接口是如何工作的嗎

[willam45]

你好,
我有一些寫下來

數據流的行為描述,上午10點是被記錄是下午10點,表明PySpark流媒體應用程序明顯滯後。的PySpark StreamingListener接口不負責導致滯後;它是用來監測和收集有關流媒體應用程序的進程信息。

的PySpark StreamingListener接口允許您創建自定義偵聽器,可以捕獲事件和相關指標的流媒體應用程序的執行。這可以包括事件像批處理,處理的記錄數量和其他執行統計數據。然而,偵聽器本身不影響流媒體應用程序的時間或行為。

如果你麵臨大幅滯後流媒體應用程序的處理時間,你應該調查的其他方麵你的設置來確定原因。

[Soma]

嗨@willam45火花流媒體應用程序工作完全從結構化流我可以看到UI

但是我這個自定義偵聽器使用日誌實時提醒有一些問題。

我隻是想知道它是如何處理異步火花如果它就像火和忘記機製

[werners1]

添加:
你用的是什麼日誌嗎?

[Soma]

我們使用Azure日誌分析和日誌分析我們看不到一個滯後

我們捕捉current_timestamp價值(inprogress)和日誌分析timestamp_Generated(自動列)

時可以得到額外的數據寫入的區別1分鍾和進步。時間戳的流處理時間顯示10點而timestamp_generated和current_timestamp偵聽器代碼是指向當前時間(10點)