三角洲緩存加速數據讀取通過創建遠程文件的副本節點的本地存儲中間數據格式使用快。數據緩存自動當一個文件從遠程獲取。連續讀取相同的數據然後在本地執行,從而顯著提高閱讀速度。
這裏是每個類型的特征:
- 存儲數據的類型:三角洲緩存包含遠程數據的本地副本。它可以提高廣泛的查詢的性能,但不能用於存儲任意子查詢的結果。火花緩存可以存儲任何子查詢的結果數據和數據存儲在拚花以外的其他格式(如CSV、JSON和獸人)。
- 性能:在三角洲緩存中存儲的數據可以讀取和操作速度比火花緩存中的數據。這是因為三角洲緩存使用高效的壓縮算法和最優輸出數據格式使用舞台代碼生成進一步的處理。
- 自動和手動控製:當δ啟用緩存,數據需要從遠程數據源獲取自動添加到緩存中。這個過程是完全透明,不需要任何行動。然而,事先預加載數據到緩存,您可以使用緩存命令。當你使用火花緩存,您必須手動指定緩存表和查詢。
- 磁盤與基於內存:δ完全存儲在本地磁盤緩存,這樣記憶是不會離開其他操作在火花。由於現代ssd的閱讀速度高,三角洲緩存可以完全於磁盤上沒有對其性能產生負麵影響。相比之下,火花緩存使用內存。
- 數據更新:δ在創建或刪除緩存數據文件時自動檢測並相應更新其內容。您可以編寫、修改和刪除表數據不需要顯式地緩存數據失效。
- 實例支持:三角洲緩存不配置默認情況下所有實例實例的家庭。你必須驗證實例家人是否支持
