預測I / O是什麼?
預測I / O是磚的集合優化,提高性能的數據交互。預測的I / O功能分為以下類別:
加速讀取減少所花費的時間掃描,讀取數據。
減少加速更新的數據量需要重寫在更新,刪除和合並。
預測I / O是獨家光子引擎磚。
使用預測I / O加速讀取
預測I / O加速數據掃描和過濾性能用於所有操作在計算類型的支持。
重要的
預測支持的I / O讀取serverless和職業類型的SQL倉庫,和Photon-accelerated集群運行磚運行時11.2及以上。
預測I / O提高掃描的性能通過應用深度學習技術來執行以下操作:
確定最有效的訪問模式讀取數據,隻有掃描實際需要的數據。
消除不需要的列和行解碼生成查詢結果。
計算的概率選擇查詢的搜索條件匹配的行。查詢時,我們用這些概率來預測下一個匹配的行發生,隻有從雲存儲讀取數據。
使用預測I / O加速更新
預覽
支持預測I / O的更新公共預覽serverless和職業類型的SQL倉庫,以及Photon-accelerated集群運行磚運行時的12.1以上。
當你使用啟用了光子的計算,預測I / O使用自動更新的所有表刪除向量啟用。看到刪除向量是什麼?。
啟用支持刪除向量在三角洲湖表通過設置一個三角洲湖表屬性如圖所示:
改變表<表- - - - - -的名字>集TBLPROPERTIES(“delta.enableDeletionVectors”=真正的);
警告
當您啟用刪除向量,表協議版本升級。表協議版本升級是不可逆的。升級後,表不會讀的三角洲湖客戶不支持刪除向量。看到磚三角洲湖管理功能的兼容性如何?。
預測I / O利用刪除向量加速更新的頻率通過減少在三角洲表上數據修改完整的文件改寫。預測I / O優化刪除,合並,更新操作。
而不是重寫所有記錄數據文件中的任何記錄被更新或刪除時,預測I / O使用刪除向量來表示從目標數據文件記錄已被移除。補充數據文件用於指示更新。
後來讀桌子上解決當前表狀態通過應用指出最近的更改表的版本。