流源三角洲時,如何讓消費者延遲?

[YFL]

你好,

我想跟蹤流從源表滯後,這是δ表。

我看到,在查詢進度日誌,有一些信息的最後版本最後文件版本結束偏移量,但這不會給延遲從源表,除非我查詢它並檢查最後的版本和文件數。

“來源”:[{“描述”:“DeltaSource [dbfs: / mnt / defaultDatalake /區域/銅/ my_source_table]”、“startOffset”: {“sourceVersion”: 1、“reservoirId”:“15059 b8a - 0 - f48 - 4561 - 9424 - 8 fcb0c8906de”、“reservoirVersion”: 39673年,“指數”:1、“isStartingVersion”:假},“endOffset”: {“sourceVersion”: 1、“reservoirId”:“15059 b8a - 0 - f48 - 4561 - 9424 - 8 fcb0c8906de”、“reservoirVersion”: 39674年,“指數”:1、“isStartingVersion”:假},

要清楚一點,通過延遲我的意思是,例如,如果源表最後一行100和現在流處理行90,我的延遲將從源表10。

一個技術點:我怎麼能解析startOffset endOffset。從“SourceProgress”類直接訪問endOffset字段,而不是其內心世界的領域(如索引)。我是不是應該解析endOffset字符串作為json使用一些標準json庫喜歡傑克遜還是ujson ?

非常感謝。

[Kaniz]

你好@YFL!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[YFL]

謝謝,Kaniz。這是一個非常重要的問題,部分生產工作我們(我們是高度投入磚和δ)。通過互聯網我看過別人問同樣的問題,。

謝謝你！

Yerachmiel Feltzman |數據平台開發Beplay体育安卓版本人員

[jose_gonzalez]

嗨@Yerachmiel Feltzman

你可以看看下麵的指標https://docs.www.eheci.com/delta/delta-streaming.html指標在你流查詢進度

[YFL]

嗨,@Jose岡薩雷斯,在鏈接的東西我看不出滯後從源三角洲表。

不管怎樣,都要謝謝您。