我有下麵的添加時間戳
microbatch_timestamp - - >這是來自流進展和顯示10點
batchid - >的火花batchid流也對應於10點
作為ingested_timestamp在哪裏顯示around10點加載日誌分析時是哪一個
def
onQueryProgress (
自我
,queryProgress):
試一試
:
打印
(
“內部進展”
)
#給ADLS輸入速率和處理時間
如果
(queryProgress.progress。numInputRows > =
0
進步= queryProgress.progress
data = {
“Stream_id”
:進展。
id
. __str__ (),
“Stream_name”
:progress.name,
“Event_type”
:
“查詢進展”
,
“runID”
:progress.runId.__str__ (),
“microbatch_timestamp”: progress.timestamp.split [0] (' . '),
“ingested_timestamp”: datetime.now ()。Y strftime (“% - % - % d % H: % m: % s % f”),
“batchId”
:progress.batchId,
