配置三角洲湖控製數據文件大小

當運行優化

汽車壓實和優化寫每個減少小文件的問題,但不完全替代優化。特別是對於表超過1 TB,磚建議運行優化安排進一步鞏固文件。磚不自動運行ZORDER在桌子上,所以你必須運行優化與ZORDER啟用增強數據跳過。看到數據不與z順序索引三角洲湖。

汽車優化數據磚是什麼?

這個詞自動優化有時是用來描述功能控製的設置delta.autoCompact和delta.optimizeWrite。這學期已經退休的描述每個單獨設置。看到汽車壓實對磚三角洲湖和優化為三角洲湖磚。

汽車壓實對磚三角洲湖

汽車壓實結合δ內小文件表分區自動減少小文件的問題。汽車壓實後發生寫入表已成功同步並運行在集群上執行寫入。汽車隻壓縮壓縮文件,沒有壓實。

你可以通過設置來控製輸出文件的大小火花配置spark.databricks.delta.autoCompact.maxFileSize。磚建議使用自動調諧根據工作負載或表的大小。看到基於工作負載的自動調諧文件大小和基於表的大小自動調諧文件大小。

汽車壓實隻是觸發分區或表至少有一定數量的小文件。你可以選擇改變觸發汽車所需的最小數量的文件壓縮設置spark.databricks.delta.autoCompact.minNumFiles。

汽車壓實可以啟用表或會話級別使用以下設置:

• 表屬性:delta.autoCompact

• SparkSession設置:spark.databricks.delta.autoCompact.enabled

這些設置除了以下選項:

選項	行為
汽車(推薦)	曲調目標文件的大小,同時尊重其他自動調諧功能。需要磚運行時的10.1或以上。
遺產	別名真正的。需要磚運行時的10.1或以上。
真正的	使用128 MB作為目標文件大小。沒有動態分級。
假	關閉自動壓實。在會話級別可以設置覆蓋汽車壓實所有三角洲表修改的工作量。

優化為三角洲湖磚

優化寫改善文件大小數據寫入和後續讀取表中受益。

分區表的優化中是最有效的,因為他們減少小文件寫入每個分區。寫更少的大文件比寫作更有效的許多小文件,但你仍然會看到增加寫延遲,因為數據是之前寫的。

下圖演示了如何優化工作寫道:

注意:你可能會運行的代碼合並(n)或重新分區(n)之前你寫出數據到控製文件的數量。優化寫道消除了需要使用此模式。

優化寫在磚是默認啟用以下業務運行時9.1 LTS及以上:

• 合並

• 更新與子查詢

• 刪除與子查詢

優化也支持所有寫道插入操作時,使用SQL端點。

優化寫在表或會話級別可以啟用使用以下設置:

• 表設置:delta.optimizeWrites

• SparkSession設置:spark.databricks.delta.optimizeWrites.enabled

這些設置接受以下選項:

選項	行為
真正的	使用128 MB作為目標文件大小。
假	關閉優化寫道。在會話級別可以設置覆蓋汽車壓實所有三角洲表修改的工作量。

設定了一個目標文件大小

如果你想在三角洲調整大小的文件表,設置表屬性delta.targetFileSize到所需的尺寸。如果設置了這個屬性,所有數據布局優化操作將最優試圖生成指定大小的文件。例子包括優化或z值,汽車壓實,優化寫道。

表屬性
delta.targetFileSize 類型:大小的字節或更高的單位。 目標文件大小。例如,104857600(字節)或100 mb。 默認值:無

對於現有的表,您可以使用SQL命令設置和設置屬性ALTER TABLE設置資源的屬性。你也可以設置這些屬性時自動創建新表使用火花會話配置。看到三角洲表屬性引用獲取詳細信息。

基於工作負載的自動調諧文件大小

磚建議設置表屬性delta.tuneFileSizesForRewrites來真正的對所有表的目標很多合並或DML操作,無論磚運行時,統一目錄,或其他優化。當設置為真正的,目標文件大小為表設置為更低的閾值,而加速寫密集型操作。

如果沒有顯式地設置,磚自動檢測如果9 10前三角洲表上的操作合並操作和設置這個表屬性真正的。您必須顯式地設置該屬性假為了避免這種行為。

表屬性
delta.tuneFileSizesForRewrites 類型:布爾 是否為數據布局優化調整文件大小。 默認值:無

對於現有的表,您可以使用SQL命令設置和設置屬性ALTER TABLE設置資源的屬性。你也可以設置這些屬性時自動創建新表使用火花會話配置。看到三角洲表屬性引用獲取詳細信息。

基於表的大小自動調諧文件大小

最小化需要手動調整,磚自動曲調δ的文件大小表基於表的大小。磚將使用較小的文件大小對於小表,較大的文件大小為大表,表中文件數量不能過大。磚不自動調諧表有調整特定的目標大小或根據工作負載頻繁的重寫。

目標文件大小是基於當前三角洲表的大小。表小於2.56結核病、自動調諧的目標表的文件大小是256 MB。2.56結核病和10 TB之間的大小,目標規模將從256 MB到1 GB呈線性增長。表大於10 TB,目標文件的大小是1 GB。

當一個表寫增量,目標文件大小和文件數量將接近下麵的數字,基於表的大小。這個表的文件數量隻是一個例子。實際結果會有所不同取決於很多因素。

表的大小	目標文件大小	近似的文件數量表
10 GB	256 MB	40
1 TB	256 MB	4096年
2.56結核病	256 MB	10240年
3結核病	307 MB	12108年
5結核病	512 MB	17339年
7結核病	716 MB	20784年
10 TB	1 GB	24437年
20結核病	1 GB	34437年
50個結核病	1 GB	64437年
100年結核病	1 GB	114437年

限製行寫入數據文件

全心全意、表與狹窄的數據可能會遇到一個錯誤,在一個給定的數據文件的行數超過限製的支持拚花的格式。為了避免這種錯誤,您可以使用SQL會話配置spark.sql.files.maxRecordsPerFile指定的最大記錄數為三角洲湖表寫入一個文件。指定一個值為零或負值代表沒有限製。

在磚運行時的10.5及以上,您還可以使用DataFrameWriter選項maxRecordsPerFile當使用DataFrame api編寫到三角洲湖表。當maxRecordsPerFile指定的值SQL會話配置spark.sql.files.maxRecordsPerFile將被忽略。