工作與三角洲湖表的曆史

檢索三角洲曆史表

操作,您可以檢索信息用戶、時間戳等每個寫表通過運行一個增量曆史命令。倒序返回的操作。默認情況下表曆史保留30天。

描述曆史' /數據/事件/ '——得到的全部曆史表描述曆史δ。' /數據/事件/ '描述曆史' /數據/事件/ '限製1——得到最後一個操作描述曆史eventsTable

火花的SQL語法細節,請參閱描述曆史。

看到三角洲湖API文檔Scala / Java / Python語法細節。

數據瀏覽提供了一個可視化視圖的三角洲的詳細表信息和曆史表。除了表模式和樣本數據,你可以點擊曆史選項卡,查看曆史顯示的表描述曆史。

曆史模式

的輸出曆史操作有以下列。

+ - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | + | |版本時間戳userId |操作用戶名| | operationParameters | |工作筆記本| clusterId | readVersion | isolationLevel | isBlindAppend | operationMetrics | + - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + | 5 | 2019-07-29 14:07:47 | # # # # # # | | |刪除(謂詞- > [" (…零| | # # # # # # | | 4 | WriteSerializable假| | (numTotalRows - >…| | 4 | 2019-07-29 14:07:41 | # # # # # # | | |更新(謂詞- > (id…零| | # # # # # # | | 3 | WriteSerializable假| | (numTotalRows - >…| | 3 | 2019-07-29 14:07:29 | # # # # # # | | |刪除(謂詞- > [" (…零| | # # # # # # | | 2 | WriteSerializable假| | (numTotalRows - >…| | 2 | 2019-07-29 14:06:56 | # # # # # # | | |更新(謂詞- > (id…零| | # # # # # # | | 1 | WriteSerializable假| | (numTotalRows - >…| | 1 | 2019-07-29 14:04:31 | # # # # # # | | |刪除(謂詞- > [" (…零| | # # # # # # | 0 | | WriteSerializable假| | (numTotalRows - >…| | 0 | 2019-07-29 14:01:40 | # # # # # # | | |寫[模式- > ErrorIfE……|null| ###| ###| null|WriteSerializable| true|[numFiles -> 2, n...| +-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+

操作指標的鑰匙

的曆史操作返回操作指標的集合operationMetrics列映射。

下麵的表列出了地圖鍵定義的操作。

查詢一個表(舊的快照時間旅行)

三角洲湖時間旅行允許您查詢一個年長的三角洲表的快照。時間旅行有許多用例,包括:

• 重新創建分析、報告、或輸出(例如,機器學習模型)的輸出。這對調試或審計可能是有用的,尤其是在監管的行業。

• 編寫複雜的時態查詢。

• 在您的數據修複錯誤。

• 為一組提供快照隔離快速變化的表的查詢。

三角洲湖時間旅行的語法

三角洲湖支持查詢以前的表版本基於時間戳或表版本(在事務日誌記錄)。

• timestamp_expression可以是任何一個:

  • 2018 - 10 - 18 t22:15:12.013z,也就是說,可以把一個字符串,該字符串轉換為一個時間戳

  • 鑄造(' 2018-10-1813:36:32c '作為時間戳)

  • “2018-10-18”,也就是說,一個日期字符串

  • current_timestamp ()- - - - - -時間間隔12小時

  • date_sub(當前日期(),1)

  • 其他表達式,也可以把一個時間戳

• 版本是一個長期的價值,可以獲得輸出的嗎描述曆史table_spec。

既不timestamp_expression也不版本子查詢。

隻接受日期或時間戳字符串。例如,“2019-01-01”和“2019 - 01 - 01 t00:00:00.000z”。看下麵的代碼例如語法:

選擇*從people10m時間戳作為的2018 - 10 - 18 t22:15:12.013z選擇*從δ。' /tmp/δ/people10m”版本作為的123年

df1=火花。讀。選項(“timestampAsOf”,“2019-01-01”)。表(“people10m”)df2=火花。讀。選項(“versionAsOf”,123年)。負載(“/ tmp /δ/ people10m”)

您還可以使用@語法來指定時間戳或版本的表名。必須在時間戳yyyyMMddHHmmssSSS格式。您可以指定一個版本@通過將一個v的版本。看下麵的代碼例如語法:

選擇*從people10m@20190101000000000選擇*從people10m@v123

火花。讀。表(“people10m@20190101000000000”)火花。讀。表(“people10m@v123”)火花。讀。負載(“/ tmp /δ/ people10m@20190101000000000”)火花。讀。負載(“/ tmp /δ/ people10m@v123”)

事務日誌檢查點是什麼?

三角洲湖表版本為JSON文件中的記錄_delta_log目錄,這是存儲在表的數據。優化查詢、檢查站三角洲湖總量表版本鋪檢查點文件,防止需要閱讀所有的JSON版本表的曆史。磚優化檢查點頻率數據的大小和工作負載。用戶應該不需要直接與檢查點。檢查點頻率可隨時更改,不另行通知。

配置數據保留時間旅行

時間旅行前一版本,你必須保留這兩個的日誌和數據文件的版本。

δ表數據文件支持從來沒有自動刪除;隻有當你刪除數據文件運行真空。真空不刪除三角洲日誌文件;日誌文件自動清理後檢查點都寫。

在默認情況下可以時間旅行到三角洲表30天,除非你有:

• 運行真空你的差值表。

• 改變了數據或日誌文件中使用以下保留時間段表屬性:

  • delta.logRetentionDuration=“間隔<時間>”:控製表的曆史保存多久。默認值是時間間隔30.天。

    每次寫的一個檢查站,磚自動清理日誌條目超過保留時間間隔。如果你將這個配置設置為一個足夠大的價值,許多日誌條目被保留。這應該不會影響性能,操作日誌是常數時間。曆史上的操作是平行但日誌大小增加將變得更加昂貴。

  • delta.deletedFileRetentionDuration=“間隔<時間>”:控製多久以前文件必須被刪除之前的候選人真空。默認值是時間間隔7天。

    訪問曆史數據即使你運行的30天真空差值表,集delta.deletedFileRetentionDuration=“間隔30.天”。此設置可能會導致您的存儲成本上升。

恢複一個增量表的狀態

你可以恢複一個增量表通過使用其先前的狀態恢複命令。δ表內部維護曆史版本的表,使它恢複到早期狀態。之前版本對應狀態或時間戳的早些時候的狀態創建支持的選項恢複命令。

恢複表db。target_table來版本作為的<版本>恢複表δ。' /數據/目標/ '來時間戳作為的<時間戳>

語法細節,請參閱恢複。

恢複指標

恢複報告以下指標作為一個單獨的行DataFrame操作完成後:

• table_size_after_restore:恢複後表的大小。

• num_of_files_after_restore:表中的文件恢複後的數量。

• num_removed_files:文件數量從表中刪除(邏輯刪除)。

• num_restored_files:由於回滾文件數量恢複。

• removed_files_size:總大小字節的文件從表中刪除。

• restored_files_size:總大小字節的文件恢複。

  

使用三角洲湖時間旅行的例子

• 為用戶解決意外刪除一個表111年:

  插入成my_table選擇*從my_table時間戳作為的date_sub(當前日期(),1)在哪裏用戶標識=111年

• 解決意外錯誤更新一個表:

  合並成my_table目標使用my_table時間戳作為的date_sub(當前日期(),1)源在源。用戶標識=目標。用戶標識當匹配然後更新集*

• 查詢添加新客戶的數量在過去的一周。beplay体育app下载地址

  選擇數(截然不同的用戶標識)- - - - - -(選擇數(截然不同的用戶標識)從my_table時間戳作為的date_sub(當前日期(),7))

我怎麼找到最後一個提交的版本火花會話嗎?

得到最後的版本號提交當前寫的SparkSession在所有線程和所有表、查詢SQL配置spark.databricks.delta.lastCommitVersionInSession。

集火花。磚。δ。lastCommitVersionInSession

火花。相依。得到(“spark.databricks.delta.lastCommitVersionInSession”)

火花。相依。得到(“spark.databricks.delta.lastCommitVersionInSession”)

如果沒有提交的SparkSession、查詢返回一個空值的關鍵。