有辦法創建磚非托管表實際上是雪花的表,而不是S3或者DBFS位置?
這從文檔是相當模糊的可能:“您可以創建一個非托管表數據源中的數據,如卡桑德拉,JDBC表,等等。看到數據源有關支持的數據源數據磚的更多信息。一些常見的方法創建一個非托管表:“
我有數據存儲在S3和雪花和希望能夠查詢與磚位置。雪花表所麵臨的挑戰在於,你必須進口的秘密,創建選項,和數據加載到dataframe。一個更好的解決方案是隻做一次,然後訪問表作為數據磚非托管表。
@Stefan Stojanovic,這是一個很多麻煩。不過,你可以創建你的metastore被雪花(它將處理數據磚表沒有問題):
https://docs.snowflake.com/en/user-guide/tables-external-hive.html
並將它添加到磚作為外部的蜂巢元商店
https://docs.www.eheci.com/data/metastores/external-hive-metastore.html
一個更簡單的方法是(但當我檢查它與其他數據庫,它是不工作)
把罐子從雪花,試圖用JDBC字符串注冊為一個外部表。這裏有一個例子Postgreshttps://spark.apache.org/docs/latest/sql-data-sources-jdbc.html