聯合目錄是什麼?

Metastores

metastore頂層容器的對象在統一目錄。它存儲關於數據資產元數據(表和視圖)和控製訪問權限。磚賬戶管理員可以創建一個metastore每個區域的操作,並將它們分配給磚工作區在同一地區。工作區使用統一目錄,它必須有一個統一的目錄metastore附呈。

每個metastore配置了一個根存儲位置在AWS帳戶S3存儲桶中。在默認情況下使用這個存儲位置來存儲數據管理表。

看到創建一個目錄metastore統一。

目錄

統一目錄的目錄是第一層三級名稱空間。它是用來組織你的數據資產。用戶可以看到他們被分配的所有目錄使用目錄數據權限。

所有用戶的使用目錄許可的主要目錄。的主要目錄是用於組織剛剛開始統一目錄。添加用戶和數據時,您應該添加目錄保持數據層次結構,可以有效地控製訪問。

看到創建和管理目錄。

模式

一個模式(也稱為一個數據庫)是統一目錄的第二層三級名稱空間。一個模式組織表和視圖。用戶可以看到他們被分配的所有模式使用模式許可,以及使用目錄許可模式的父目錄。訪問或列表中的一個表或視圖模式,用戶還必須選擇允許在表或視圖。

看到創建和管理模式(數據庫)。

表

表統一目錄駐留在第三層的三級名稱空間。它包含的數據行。創建一個表,用戶必須有創建和使用模式模式的權限,他們必須有使用目錄允許在它的父目錄。查詢一個表,用戶必須有選擇許可,使用模式允許在母公司模式,使用目錄允許在它的父目錄。

一個表可以管理或外部。

的觀點

一個視圖是一個隻讀對象創建從一個或多個metastore表和視圖。它駐留在統一目錄的第三層三級名稱空間。一個視圖可以從多個表和其他視圖創建模式和目錄。您可以創建動態視圖使行和列級權限。

看到創建一個動態視圖。

特殊注意事項集團

任何團體已經存在於工作區標記工作空間的地方在控製台。這些workspace-local組不能用於統一目錄定義訪問策略。您必須使用帳戶級別組。如果workspace-local組中引用一個命令,該命令將返回一個錯誤,沒有找到。如果您之前使用workspace-local組來管理訪問筆記本和其他構件,這些權限仍然有效。

看到管理組。

一般的局限性

• Scala、R和工作負載使用磚運行時對集群使用機器學習隻支持單用戶訪問模式。工作負載在這些語言不支持使用行級或列級安全的動態視圖。

• 在磚運行時13.1及以上,淺克隆支持創建統一目錄管理表從現有統一目錄管理表。在磚運行時的13.0和下麵,沒有支持淺克隆統一目錄。看到統一目錄管理表淺克隆。

• 用桶裝不支持統一目錄表。如果你運行命令,試圖創建一個桶表統一目錄,它會拋出一個異常。

• 寫入相同的路徑或三角洲湖表工作區在多個區域可以導致不可靠的性能,如果一些集群訪問目錄和其他不統一。

• 使用命令創建的自定義分區方案改變表添加分區不支持統一目錄表。統一使用目錄風格的分區的目錄可以訪問表。

• 覆蓋模式DataFrame寫操作為三角洲隻支持統一目錄表,不為其他文件格式。用戶必須有創建在家長模式和特權必須現有對象的所有者或有修改對象上的特權。

• Spark-submit工作支持單用戶集群而不是共享集群。看到集群訪問模式是什麼?。

• Python UDF支持共享集群支持私人預覽。請聯係您的客戶服務團隊訪問。

• 以前在一個工作區中創建(即工作空間層組)不能用於統一目錄GRANT語句。這是確保一致的視圖的團體可以跨工作區。使用GRANT語句組,創建你的組帳戶級別和更新任何自動化的主體或組管理(如SCIM, Okta和AAD連接器,起程拓殖)端點引用賬戶而不是工作區端點。看到賬戶組和workspace-local組之間的區別。

• 標準Scala不支持線程池。相反,使用特殊的線程池org.apache.spark.util.ThreadUtils例如,org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool。然而,下麵的線程池ThreadUtils不支持:ThreadUtils.newForkJoinPool和任何ScheduledExecutorService線程池。

結構化流媒體支持

支持結構化流在統一編目表(管理或外部)取決於你是磚運行時版本上運行,不管你是使用共享或單用戶集群。

支持共享集群需要磚運行時的12.2 LTS和上麵,用以下限製:

• Python。

• 不支持Apache火花連續處理模式。看到連續處理在火花結構化流編程指南。

• applyInPandasWithState不支持。

• 不支持使用套接字的來源。

• StreamingQueryListener不能使用憑證或與對象由統一目錄管理。

• 的sourceArchiveDir必須在同一外部位置作為源當你使用選項(“cleanSource”,“檔案”)與數據源由統一目錄管理。

• 卡夫卡的源和彙,下列選項不支持:

  • kafka.sasl.client.callback.handler.class

  • kafka.sasl.login.callback.handler.class

  • kafka.sasl.login.class

  • kafka.partition.assignment.strategy

• 以下卡夫卡選項在磚13.0運行時支持但不支持在運行時12.2 LTS磚。你隻能為這些選項指定外部位置由統一目錄管理:

  • kafka.ssl.truststore.location

  • kafka.ssl.keystore.location

支持單用戶集群可用上麵的磚運行時11.3 LTS和,用以下限製:

• 不支持Apache火花連續處理模式。看到連續處理在火花結構化流編程指南。

• StreamingQueryListener不能使用憑證或與對象由統一目錄管理。

• 不支持異步檢查點在磚運行時11.3 LTS下麵。它是在磚運行時支持12.0及以上。

另請參閱使用統一的目錄和結構化流。