讀取數據共享使用Databricks-to-Databricks三角洲共享

查看所有與你共享數據的提供者

查看可用的數據提供者列表,您可以使用數據瀏覽,磚統一目錄的CLI或顯示供應商SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:你必須metastore管理員或有使用提供者特權。其他用戶隻能訪問提供者和提供者,他們自己的股票。

有關詳細信息,請參見查看供應商。

查看供應商詳細信息

查看供應商的詳細信息,您可以使用數據瀏覽,磚統一目錄的CLI或描述提供者SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:你必須是一個metastore管理,使用提供者特權,或自己的提供者對象。

有關詳細信息,請參見查看供應商詳細信息。

查看股票

查看供應商的股票與你共享,您可以使用數據瀏覽,磚統一目錄的CLI或顯示股票在提供者SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:你必須是一個metastore管理,使用提供者特權,或自己的提供者對象。

有關詳細信息,請參見查看股票,提供者已經與你共享。

創建一個目錄

使數據共享訪問您的團隊,您必須創建一個共享的目錄。創建一個共享目錄,您可以使用數據瀏覽,磚統一編目CLI或SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:metastore管理,用戶的CREATE_CATALOG和使用提供者統一目錄metastore特權,或一個用戶CREATE_CATALOG特權和提供程序對象的所有權。

創建目錄(如果不存在]<目錄- - - - - -的名字>使用分享<提供者- - - - - -的名字>。<分享- - - - - -的名字>;

磚unity-catalog目錄創建——名稱<目錄名稱> / <提供者姓名> /提供者——分享<共享名>

目錄創建一個共享目錄類型的三角洲共享。您可以查看瀏覽器目錄詳細信息頁麵的數據類型或通過運行描述目錄筆記本或磚SQL查詢的SQL命令。

δ共享目錄可以相同的方式管理定期統一目錄metastore目錄。您可以查看、更新和刪除一個三角洲共享目錄使用數據瀏覽,磚CLI和利用顯示目錄,描述目錄,改變目錄,下降目錄SQL命令。

三級名稱空間結構三角洲共享目錄下創建的股票是一樣的一個常規目錄統一目錄下:catalog.schema.table。

下表數據共享目錄是隻讀的,這意味著您可以執行讀取操作描述,顯示,選擇。

筆記本電腦在一個共享目錄可以被任何用戶預覽和克隆使用目錄在目錄上。

管理模式和表的權限在三角洲共享目錄

默認情況下,這個目錄下的所有數據對象的所有者是一個創造者三角洲共享目錄和可以為其中的任何一個管理權限。

向下繼承特權,盡管一些工作區可能仍然沒有提供繼承的遺產安全模型。看到繼承模型。任何用戶授予選擇目錄將有特權選擇特權模式和表的所有特權的目錄,除非撤銷。你不能授予特權給編寫或更新訪問共享目錄或對象在δ共享目錄。

目錄所有者可以委托其他用戶或組的數據對象的所有權,從而允許用戶管理權限和對象生命周期的能力。

詳細信息管理數據對象上的特權使用統一目錄,看看統一目錄管理權限。

一個共享的表中讀取數據

你可以閱讀表在共享數據使用任何工具的磚用戶:數據瀏覽,筆記本,SQL查詢,磚CLI和磚REST api。你必須有選擇特權在桌子上。

查詢一個表的曆史數據

如果曆史是共享的表,您可以查詢的表數據的版本或時間戳。需要磚運行時的12.1或以上。

例如:

選擇*從疫苗。vaccine_us。vaccine_us_distribution版本作為的3;選擇*從疫苗。vaccine_us。vaccine_us_distribution時間戳作為的“2023-01-01”就是;

此外,如果更改數據提要(CDF)啟用表,你可以查詢它。版本和時間戳都支持:

選擇*從table_changes(“vaccine.vaccine_us.vaccine_us_distribution”,0,3);選擇*從table_changes(“vaccine.vaccine_us.vaccine_us_distribution”,“2023-01-01”就是,“2022-02-01”就是);

改變數據提要的更多信息,請參閱使用三角洲湖變化數據以磚。

查詢一個表使用Apache火花結構化流

如果一個表是與曆史,您可以使用它作為火花結構化流的源。需要磚運行時的12.1或以上。

支持選項:

• ignoreDeletes:忽略事務刪除數據。

• ignoreChanges:如果文件重寫處理文檔更新源表中的數據修改操作,比如更新,合並成,刪除(分區),或覆蓋。不變行仍然可以發出。所以你的下遊消費者應該能夠處理重複。刪除不是下遊傳播。ignoreChanges包容ignoreDeletes。因此,如果您使用ignoreChanges,你流將不會被刪除或更新源表。

• startingVersion:從共享表版本。所有表變化從這個版本(包容)將讀取流源。

• startingTimestamp:從時間戳。所有表更改後承諾或時間戳(包容)將讀取流源。例子:“2023-01-0100:00:00.0”

• maxFilesPerTrigger:新文件的數量被認為是在每個micro-batch。

• maxBytesPerTrigger:在每個micro-batch被處理的數據量。這個選項設置一個“軟馬克斯”,這意味著一個批處理過程大約這個過程的數據量,可能超過極限為了使流查詢前進情況下的最小輸入單位超過這個極限。

• readChangeFeed:流讀共享表的數據提要的變化。

不支持的選項:

• Trigger.availableNow

火花。readStream。格式(“deltaSharing”)。選項(“startingVersion”,0)。選項(“ignoreChanges”,真正的)。選項(“maxFilesPerTrigger”,10)。表(“vaccine.vaccine_us.vaccine_us_distribution”)

火花。readStream。格式(“deltaSharing”)\。選項(“startingVersion”,0)\。選項(“ignoreDeletes”,真正的)\。選項(“maxBytesPerTrigger”,10000年)\。表(“vaccine.vaccine_us.vaccine_us_distribution”)

火花。readStream。格式(“deltaSharing”)。選項(“readChangeFeed”,“真正的”)。表(“vaccine.vaccine_us.vaccine_us_distribution”)