查詢數據

本文將展示如何在統一查詢數據目錄。

需求

的計算資源您使用筆記本,磚SQL編輯器,或探險家工作流來創建查詢的數據必須符合統一目錄安全需求。
查詢數據表或視圖,用戶必須有使用在父目錄和模式和許可選擇允許在表或視圖。

請注意

閱讀從一個視圖集群與單用戶安全模式下,用戶必須擁有的選擇所有引用的表和視圖。

在統一目錄,一個表或視圖包含在父目錄和模式。你可以引用一個表或視圖使用兩個不同風格的符號。您可以使用使用目錄和使用語句指定目錄和模式:

              使用目錄<catalog_name>;使用模式<schema_name>;選擇*從<table_name>;
             

              火花。sql(“使用目錄< catalog_name >”)火花。sql(“使用模式< schema_name >”)顯示(火花。表(“< table_name >”))
             

              圖書館(SparkR)sql(“使用目錄< catalog_name >”)sql(“使用模式< schema_name >”)顯示(tableToDF(“< table_name >”))
             

              火花。sql(“使用目錄< catalog_name >”)火花。sql(“使用模式< schema_name >”)顯示(火花。表(“< table_name >”))
             

作為一種替代方法,您可以使用三級名稱空間表示法:

              選擇*從<catalog_name>。<schema_name>。<table_name>;
             

              顯示(火花。表(“< catalog_name >, < schema_name >。< table_name > "))
             

              圖書館(SparkR)顯示(tableToDF(“< catalog_name >, < schema_name >。< table_name > "))
             

              顯示(火花。表(“< catalog_name >, < schema_name >。< table_name > "))
             

使用三級名稱空間簡化查詢數據在多個目錄和模式。

您還可以使用三級名稱空間在蜂巢metastore符號數據設置< catalog_name >來hive_metastore。

您可以快速探索表和視圖,而不需要運行一個集群通過使用數據瀏覽。

對於蜂巢Metastore中的對象,您必須運行一個SQL倉庫使用數據瀏覽。

選擇從一個表或視圖從一個筆記本:

使用側邊欄切換到數據科學與工程。
把筆記本數據科學與工程或磚機器學習集群這是為統一配置的目錄。
在筆記本上,創建一個查詢,統一編目表和視圖的引用。您可以使用三級名稱空間符號輕鬆地選擇數據在多個目錄和模式,包括workspace-local蜂巢metastore。

請注意

閱讀從一個視圖從一個集群與單用戶安全模式下,用戶必須擁有的選擇所有引用的表和視圖。

選擇從一個表或視圖從磚SQL:

你可以探索的內容數據文件存儲在雲租戶在創建表之前。

你必須有讀文件允許在一個外部位置(推薦)與路徑相關的文件在你的雲租戶或直接存儲憑證包含我的角色授權的閱讀路徑。如果您已經定義了一個表的道路上,您可以訪問數據表的路徑如果你有選擇表和使用上的許可權限表的父目錄和模式。

探索數據存儲在外部位置:

列出文件雲存儲路徑:

                 列表“s3: / / < path_to_files >”;
                

                 顯示(火花。sql(”名單s3: / / < path_to_files >”))
                

                 圖書館(SparkR)顯示(sql(”名單s3: / / < path_to_files >”))
                

                 顯示(火花。sql(”名單s3: / / < path_to_files >”))
                

如果你有讀文件允許在外部與雲存儲路徑相關的位置,返回一個列表的數據文件位置。

在給定查詢中的數據文件路徑:

                 選擇*從<格式>。”s3:/ / <path_to_files> ';
                

                 顯示(火花。讀。負載(“s3:: / / < path_to_files >”))
                

                 圖書館(SparkR)顯示(loadDF(“s3:: / / < path_to_files >”))
                

                 顯示(火花。讀。負載(“s3:: / / < path_to_files >”))
                

探索數據直接使用存儲憑證:

                 選擇*從<格式>。”s3:/ / <path_to_files> ';與(憑證<storage_credential);
                

                 顯示(火花。sql(“SELECT * <格式>。s3: / / < path_to_files >”“(證書< storage_credential)”))
                

                 圖書館(SparkR)顯示(sql(粘貼(“SELECT * <格式>。s3: / / < path_to_files >”,“(證書< storage_credential)”,9月=”“)))
                

                 顯示(火花。sql(“SELECT * <格式>。s3: / / < path_to_files >”+“(證書< storage_credential)”))
                