增量表屬性引用

三角洲湖保留三角洲表的屬性三角洲。．這些屬性可能具有特定的含義，並在設置這些屬性時影響行為。可用的Delta表屬性包括:

財產

delta.appendOnly

真正的這個Delta表隻能被追加。如果隻追加，則不能刪除現有記錄，也不能更新現有值。

看到表屬性．

數據類型:布爾

默認值:假

delta.autoOptimize.autoCompact

真正的為Delta Lake自動優化這個Delta表的文件布局。

看到啟用自動優化．

數據類型:布爾

默認值:(一)

delta.autoOptimize.optimizeWrite

真正的以便Delta Lake在寫操作期間自動優化此Delta表的文件布局。

看到啟用自動優化．

數據類型:布爾

默認值:(一)

delta.checkpoint.writeStatsAsJson

真正的為Delta Lake在檢查點中寫入JSON格式的文件統計統計數據列。

看到與檢查點中的統計數據進行權衡．

數據類型:布爾

默認值:真正的

delta.checkpoint.writeStatsAsStruct

真正的的結構格式將文件統計信息寫入檢查點stats_parsed列，並將分區值作為結構寫入partitionValues_parsed．

看到與檢查點中的統計數據進行權衡．

數據類型:布爾

默認值:(一)

delta.columnMapping.mode

是否為使用不同名稱的Delta表列和相應的Parquet列啟用列映射。

看到三角洲列映射．

數據類型:DeltaColumnMappingMode

默認值:沒有一個

delta.compatibility.symlinkFormatManifest.enabled

真正的為Delta Lake配置Delta表，以便表上的所有寫操作都自動更新清單。

看到步驟3:更新清單．

數據類型:布爾

默認值:假

delta.dataSkippingNumIndexedCols

Delta Lake為數據跳過收集統計信息的列數。的值－1用於收集所有列的統計信息。更新此屬性不會再次自動收集統計信息;相反，它重新定義了Delta表的統計信息模式。具體來說，它改變了未來統計信息收集的行為(比如在追加和優化期間)以及數據跳過(比如忽略這個數字以外的列統計信息，即使這些統計信息存在)。

看到數據不．

數據類型:Int

默認值:32

delta.deletedFileRetentionDuration

Delta Lake在物理刪除數據文件之前，邏輯刪除數據文件的最短保存時間。這是為了防止壓縮或分區覆蓋後失效的讀取器出現故障。

這個值應該足夠大，以確保:

  • 如果運行，則它大於作業可能的最長持續時間真空當有並發讀寫器訪問Delta表時。

  • 如果運行從表中讀取數據的流查詢，則查詢停止的時間不會超過此值。否則，查詢可能無法重新啟動，因為它仍然必須讀取舊文件。

看到數據保留．

數據類型:CalendarInterval

默認值:時間間隔1周

delta.enableChangeDataFeed

真正的以啟用更改數據提要。

看到啟用變更數據提要．

數據類型:布爾

默認值:假

delta.isolationLevel

事務必須與並發事務所做的修改隔離的程度。

有效的值可序列化的和WriteSerializable．

看到隔離級別．

數據類型:字符串

默認值:WriteSerializable

delta.logRetentionDuration

Delta表的曆史記錄保存多長時間。

每次寫入檢查點時，Delta Lake都會自動清理超過保留間隔時間的日誌條目。如果將此屬性設置為足夠大的值，則會保留許多日誌條目。這不會影響性能，因為對日誌的操作是固定時間的。對曆史的操作是並行的，但隨著日誌大小的增加，將變得更加昂貴。

看到數據保留．

數據類型:CalendarInterval

默認值:時間間隔30.天

delta.minReaderVersion

允許從此Delta表讀取的讀取器所需的最低協議讀取器版本。

看到表協議版本．

數據類型:Int

默認值:1

delta.minWriterVersion

允許寫入此Delta表的寫入器所需的最低協議寫入器版本。

看到表協議版本．

數據類型:Int

默認值:2

delta.randomizeFilePrefixes

真正的以便Delta Lake為文件路徑生成隨機前綴，而不是分區信息。

例如，當Delta Lake需要向S3服務器之間更好的分區發送非常大的Amazon S3調用時，這可能會提高Amazon S3的性能。

看到表屬性．

數據類型:布爾

默認值:假

delta.randomPrefixLength

當delta.randomizeFilePrefixes被設置為真正的， Delta Lake為隨機前綴生成的字符數。

看到表屬性．

數據類型:Int

默認值:2

delta.setTransactionRetentionDuration

新快照保留事務標識符的最短持續時間(例如，SetTransactions).當新快照看到的事務標識符大於或等於此屬性指定的持續時間時，快照將認為該事務標識符過期並忽略它。的SetTransaction標識符在使寫入具有冪等性時使用。看到執行stream-static連接獲取詳細信息。

數據類型:CalendarInterval

默認值:(一)

delta.targetFileSize

用於文件調優的目標文件大小(以字節或更高單位為單位)。例如,104857600(字節)或100 mb．

看到通過文件管理優化性能．

數據類型:字符串

默認值:(一)

delta.tuneFileSizesForRewrites

真正的對於Delta表上的所有數據布局優化操作，總是使用較小的文件大小。

假永遠不要調優到更小的文件大小，也就是說，防止自動檢測被激活。

看到通過文件管理優化性能．

數據類型:布爾

默認值:(一)