磚文件係統(DBFS)是什麼?
磚文件係統(DBFS)是一個分布式文件係統裝在一個磚工作區和磚上可用集群。DBFS是抽象的可擴展的對象存儲映射類unix文件係統調用本地雲存儲API調用。
請注意
磚工作區與部署DBFS根卷所有用戶都可以訪問的,默認情況下。磚建議對生產數據存儲在這個位置。
與DBFS你能做什麼?
DBFS雲對象存儲的uri映射提供了便利的相對路徑。
允許你與對象存儲使用目錄和文件的語義而不是特定於雲API命令。
允許你山雲對象存儲位置,這樣您就可以映射存儲憑證在磚工作區路徑。
簡化了堅持的過程文件對象存儲,允許虛擬機和安全地刪除附加卷存儲集群終止。
提供了一個方便的位置來存儲init腳本,jar庫和配置集群初始化。
提供了一個方便的位置,檢查點文件中創建模型訓練和OSS深度學習庫。
請注意
DBFS磚實現融合。看到如何處理文件數據磚嗎。
掛載對象存儲
越來越多的對象存儲DBFS允許您訪問對象在對象存儲在本地文件係統。掛載存儲Hadoop配置必要的訪問存儲,因此您不需要指定這些設置在代碼或集群配置。
有關更多信息,請參見安裝雲對象存儲在磚上。
DBFS根是什麼?
的DBFS根是默認存儲位置磚工作區,配置作為工作區在雲中創建帳戶的一部分包含磚工作區。有關磚根文件係統的配置和部署,明白了為工作區中創建一個S3 bucket部署。最佳實踐在保護數據DBFS根,看到的建議使用DBFS根。
磚的一些用戶可能將DBFS根稱為“DBFS”或“DBFS”;重要的是區分,DBFS文件係統用於與數據在雲對象存儲、交互和DBFS根是一個雲對象存儲位置。你使用DBFS與DBFS根,但他們是不同的概念,和DBFS DBFS根以外的許多應用程序。
DBFS根包含許多特殊的位置,作為各種違約行為由用戶工作區。有關詳細信息,請參見在默認DBFS根目錄是什麼?。
統一目錄DBFS是如何工作的?
統一目錄添加外部位置的概念和管理存儲憑證來幫助組織提供最小特權訪問數據對象存儲在雲。統一目錄還提供了一個新的管理表的默認存儲位置。一些安全配置提供直接訪問統一Catalog-managed資源和DBFS。磚已編譯的建議使用DBFS和統一目錄。