取消
顯示的結果
而不是尋找
你的意思是:

如何通過磚SQL查詢存儲在s3 deltatables端點?

athjain
新的貢獻者三世

三角洲表後ETL在csv或鑲花格式存儲在s3,所以現在的問題是如何讓磚sql的端點運行查詢在s3保存文件

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

第一個鬥山:

% python aws_bucket_name = " < aws-bucket-name > " mount_name = dbutils.fs“< mount-name >”。山(“s3a: / / % s: % s@ % s % (access_key, encoded_secret_key aws_bucket_name)“/ mnt / % s”% mount_name)

比δ文件夾注冊表:

% sql使用三角洲位置創建表“t”“/ tmp /δ”

在原帖子查看解決方案

5回複5

werners1
尊敬的貢獻者三世

通過使用一個蜂巢metastore您提供數據。這基本上是把一個語義視圖的文件作為一個典型的數據表。(遠東saveAsTable或創建表)

可以訪問這個蜂巢metastore Sql端點。

不要忘記設置數據訪問(sql端點需要訪問的數據服務主體)。

athjain
新的貢獻者三世

由於@Werner Stinckens響應

但問題是,如果在未來我想從磚和三角洲表存儲在dbfs(後端在s3中使用鑲花的文件格式)

我怎麼能夠從文件在s3中檢索?

如果不是使用dbfs (saveAsTable三角洲表存儲在dbfs)來存儲三角洲表,我們如何直接使用s3索取表通過sql端點

或如何連接sql端點直接指向s3的表

werners1
尊敬的貢獻者三世

好的我明白了。

在dbfs您可以選擇使用管理表(數據由磚工作區)或非托管表(數據駐留在外部存儲像S3, ADLS等)。

所以你的情況下你會看非托管表。

SQL接口端點當然需要一個表,所以你仍然需要定義表的數據。

但這些隻是元數據。

你甚至可以選擇外部metastore。

例如檢查

Hubert_Dudek1
尊敬的貢獻者三世

第一個鬥山:

% python aws_bucket_name = " < aws-bucket-name > " mount_name = dbutils.fs“< mount-name >”。山(“s3a: / / % s: % s@ % s % (access_key, encoded_secret_key aws_bucket_name)“/ mnt / % s”% mount_name)

比δ文件夾注冊表:

% sql使用三角洲位置創建表“t”“/ tmp /δ”

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map