大家好!
我們目前麵臨的問題不是更新新的數據流從7月20日。
我們表有數據驗證和青銅銀沒有。
也看到日誌銀流運行但是寫0文件。
OffsetSeqLog: BatchIds發現清單:0 22/07/26 OffsetSeqLog 12:45:14信息:獲取最新抵消0 22/07/26 12:45:14信息CommitLog: BatchIds發現清單:0 22/07/26 CommitLog 12:45:14信息:獲取最新抵消0 22/07/26 MicroBatchExecution 12:45:14信息:查詢開始:去年開始microbatch抵消信息=一些((0,[{“sourceVersion”: 1、“reservoirId”:“271090 ee - 5 - d4b - 4087 - a6a0 - 5 - a9760d969d8”、“reservoirVersion”: 916406年,“指數”:1、“isStartingVersion”:假}))),最後成功完成microbatch抵消信息=一些((0,CommitMetadata(0))) 22/07/26 12:45:14信息OffsetSeqLog: BatchIds發現清單:0 22/07/26 OffsetSeqLog 12:45:14信息:獲取最新抵消0 22/07/26 12:45:15信息CommitLog: BatchIds發現清單:0 22/07/26 CommitLog 12:45:15信息:獲取最新抵消0
基本上工作表讀取青銅,應用一些轉換和寫信給我們的銀路徑。
bronze_df =火花\ .readStream \ .format(“δ”)\ .load (str (INPUT_PATH)) df =變換(bronze_df) pc_df = df \ .writeStream \ .outputMode(“追加”)\ .trigger(一次= True) \ .format(“δ”)\ .option (“checkpointLocation”, CHECKPOINT_PATH) \ .partitionBy (“event_date”、“event_hour”,“ad_type”) \ .queryName (f prod_silver_v2) \ .start (OUTPUT_PATH)
添加:上周我們重新加工這個表中實現它。在我們第一次運行(8 hs)的最後一步就是優化銀表和工作失敗的一步。之後我們看到桌上有預期的數據,但在運行我們無法更新此表。
這有關嗎?
有什麼辦法可以“恢複”檢查點之前的狀態嗎?
提前謝謝!
