統一目錄GA版本

2022年8月25日,

統一目錄現在通常用於磚。

本文描述了統一目錄之日起它的通用版本。它主要關注的特性和更新添加到統一目錄自公共預覽。當前信息統一目錄,看看聯合目錄是什麼?。指出描述更新發布統一目錄GA以來,看到的磚平台發布說明Beplay体育安卓版本和磚的運行時版本說明。

Metastore限製和資源配額

2022年8月25日

你的磚賬戶隻能有一個metastore /地區
一個metastore可以有1000目錄。
一個目錄可以有多達10000的模式。
一個模式可以有多達10000表。

當前統一目錄配額,明白了資源配額。

在GA支持存儲格式

截至2022年8月25日:

所有管理統一編目表存儲數據與三角洲湖
外部統一編目表和外部位置支持三角洲湖、JSON、CSV、Avro,拚花,獸人和文本數據。

當前目錄支持表統一格式,請參閱支持數據文件格式。

從賬戶控製台管理統一編目資源

使用磚帳戶的控製台界麵:

管理metastore生命周期(創建、更新、刪除和查看統一Catalog-managed metastores)
分配和刪除metastores工作區

支持集群類型和磚的運行時版本

統一目錄需要磚運行的集群運行時11.1或以上。統一目錄默認支持在所有SQL倉庫計算的版本。

磚的早期版本中運行時支持的預覽版本統一目錄。集群上運行的早期版本的磚運行時不提供支持所有統一目錄GA的特性和功能。

統一目錄要求的訪問模式,當你創建一個新的集群:

共享
- 語言:SQL或Python
- 一個安全的集群可以由多個用戶共享。集群用戶完全隔離,這樣他們不能看到對方的數據和憑證。
單用戶
- 語言:SQL, Scala, Python, R
- 安全的集群,可以使用專門的單用戶指定。

關於集群訪問模式的更多信息,請參閱創建集群和SQL倉庫統一目錄訪問。

信息統一編目功能後磚運行時版本的更新,看到發布說明對於那些版本。

係統表

information_schema完全支持統一編目數據資產。每個metastore包含一個目錄稱為係統包括metastore範圍information_schema。看到信息模式。您可以使用information_schema回答問題如下:

“每個目錄計算表的數量”

             選擇table_catalog,數(table_name)從係統。information_schema。表集團通過1訂單通過2DESC
            

“給我所有的表已經改變在過去24小時內“

             選擇table_name,table_owner,created_by,last_altered,last_altered_by,table_catalog從係統。information_schema。表在哪裏datediff(現在(),last_altered)<1
            

結構化流媒體支持

現在支持結構化流負載與統一目錄。和限製的詳細信息,請參見限製。

另請參閱使用統一的目錄和結構化流。

SQL函數

用戶定義的SQL函數現在完全支持統一目錄。信息如何創建和使用SQL udf,明白了創建函數。

SQL語法對於外部位置統一目錄

標準數據定義和數據定義語言命令現在支持在火花SQL外部位置,包括以下:

             創建|下降|改變|描述|顯示外部位置
            

你也可以管理和查看權限格蘭特,撤銷,顯示對於外部位置使用SQL。看到外部位置。

示例語法:

             創建外部URL位置< your_location_name >的< your_location_path >與< your_credential_name >(憑證);格蘭特READ_FILE外部位置< your_location_name > <集團>;
            

統一目錄在遺傳算法的局限性

2022年8月25日,統一目錄有以下的局限性。目前的局限性,看到限製。

Scala、R和工作負載集群上使用機器學習支持運行時隻使用單用戶訪問模式。工作負載在這些語言不支持使用行級或列級安全的動態視圖。
淺克隆不支持在使用統一目錄複製的源或目標。
用桶裝不支持統一目錄表。如果你運行命令,試圖創建一個桶表統一目錄,它會拋出一個異常。
寫入相同的路徑或三角洲湖表工作區在多個區域可以導致不可靠的性能,如果一些集群訪問目錄和其他不統一。
覆蓋模式DataFrame寫操作為三角洲隻支持統一目錄表,不為其他文件格式。用戶必須有創建在家長模式和特權必須現有對象的所有者。
流媒體目前有以下限製:
- 它不支持集群使用共享訪問模式。對於流媒體工作負載,必須使用單用戶訪問模式。
- 不支持異步檢查點。
- 磚上運行時版本11.2及以下,流媒體查詢,最後超過30天通用或工作集群將拋出一個異常。對於長期運行流查詢,配置工作自動重試或者使用磚運行時11.3及以上。
從三角洲住表引用統一編目表管道目前不支持。
組以前在工作區中創建不能用於統一目錄GRANT語句。這是確保一致的視圖的團體可以跨工作區。使用GRANT語句組,創建你的組帳戶的本金或組管理控製台和更新任何自動化(如SCIM, Okta和AAD連接器,起程拓殖)端點引用賬戶而不是工作區端點。

統一目錄要求E2版本的磚平台Beplay体育安卓版本。所有新磚賬戶和大多數現有賬戶的E2。如果你不確定該帳戶類型,請聯係您的磚的代表。

在GA統一目錄可用性區域

2022年8月25日,聯合目錄是可在以下地區。目前支持區域的列表,請參閱磚雲層和地區。