如何檢查指標是我流的工作?

[jose_gonzalez]

我想知道如果有一種方法來跟蹤我的流媒體運行工作。

[User16783855534]

//www.eheci.com/blog/2020/07/29/a-look-at-the-new-structured-streaming-ui-in-apache-spark-3-0..。

[User16783854357]

此外,如果您希望監視這種編程方式,您可以將流偵聽器附加到您的查詢和審核查詢事件進展。這個鏈接提供更多的細節。

[User16869510359]

流指標可用/暴露主要通過3方麵:

1. 流媒體用戶界麵,可以從火花3 / DBR 7
2. 流偵聽器API /可觀測的指標
3. 火花司機日誌。搜索的字符串“流查詢取得進展”。火花的量度記錄司機日誌盡快批處理完成。