事務性寫與DBIO雲存儲
重要的
這個文檔已經退休了,可能不會被更新。產品、服務或技術中提到的這些內容不再支持。看到酸保證磚是什麼?。
磚DBIO包提供了Apache火花事務寫入雲存儲工作。這解決了很多性能和正確性問題時火花是用於進行設置(例如,直接寫入存儲服務)。
重要的
提交協議不尊重使用路徑訪問數據時結束*。例如,閱讀dbfs: /我/路徑隻會返回已提交的更改,而閱讀dbfs: / / *本人/路徑將返回的所有數據文件的內容目錄,不管其內容是否提交或不是。這是一個預期行為。
與DBIO事務提交,從元數據文件_started_ < id >和_committed_ < id >伴隨數據文件由火花工作。通常你不應該直接修改這些文件。相反,你應該使用真空命令來清除它們。
清理未提交的文件
清理未提交文件遺留火花工作,使用真空命令來刪除它們。正常情況下真空發生後自動火花工作完成,但你也可以手動運行它如果工作中止。
例如,真空…保留1小時刪除未提交的文件超過一個小時。
重要的
避免吸塵地平線的不到一個小時。它可能導致數據不一致。
也看到真空。
——遞歸真空輸出路徑真空/ /輸出/目錄/路徑的(保留<N>小時]——真空所有分區的目錄表真空的表(保留<N>小時]
/ /遞歸真空輸出路徑火花。sql(“真空/道路/ /輸出/目錄”(保留< N >小時)”)/ /真空所有分區的目錄表火花。sql(“真空表名(保留< N >小時)”)