取消
顯示的結果
而不是尋找
你的意思是:

是否可以使用其他數據庫在三角洲住表(DLT) ?

477061年
貢獻者

我已經建立了一個DLT與“測試”設置為目標數據庫。我需要加入數據中存在“鑰匙”表在我的“測試版”數據庫,但是我得到了一個AccessDeniedException,盡管擁有完全訪問兩個數據庫通過正常的筆記本。

顯示下麵的問題是一個片段(注意,我似乎沒有按鈕的代碼片段在Chrome):

將數據從鍵表如下:

' ' '

key_df =火花。createDataFrame ([[0,“State0”]],[“關鍵”,'名字'])

' ' '

然後DLT):

' ' '

@dlt.table ()

def dlt_test_data ():

df =火花。createDataFrame([[" 40873 ", 0]],[“版本”,“關鍵”])

返回df

@dlt.table ()

def dlt_test_silver ():

data_df = dlt.read (“dlt_test_data”)

key_df = enum_df = spark.table (“beta.keys”)

joined_df = data_df。加入(key_df“關鍵”)

返回joined_df

' ' '

我也試著導入數據視圖與dlt_test_silver和閱讀,但這也失敗了。

是否可以使用其他數據庫中的DLT管道?如果是這樣,如何?

1接受解決方案

接受的解決方案

477061年
貢獻者

作為更新這個問題:是我跑的DLT管道在個人集群配置文件定義一個實例(按磚最佳實踐)。因此,管道沒有權限訪問其他s3資源(e。g其他數據庫)。解決方案是明確AWS權限添加到管道。要做到這一點,你需要編輯的JSON設置管道,並添加“aws_attributes”“關鍵集群”定義(討論在這裏)。“aws_attributes”鍵的值可能會發現集群定義菜單,點擊編輯,然後查看JSON集群的定義。

顯然這個問題就不會發生我一直使用集群工作。

在原帖子查看解決方案

12個回複12

werners1
尊敬的貢獻者三世

你具體指的是通過“數據庫”?實際在蜂巢metastore RDBMS係統或數據庫(或聯合)?

477061年
貢獻者

道歉,我的新磚。我的意思是在蜂巢metastore數據庫

werners1
尊敬的貢獻者三世

沒有問題。

它應該工作,蜂巢數據庫隻有一個語義視圖的實際文件駐留在您的數據。

你表啟用訪問控製嗎?

477061年
貢獻者

表的訪問控製是目前禁用,管理員拒絕啟用它。這是否需要啟用DLT管道使用其他蜂群metastore數據庫?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map