取消
顯示的結果
而不是尋找
你的意思是:

如何創建統一編目表/視圖通過起程拓殖嗎?

DBedrenko
新的貢獻者三世

你好,有頁麵文檔中提到通過起程拓殖可以創建表和視圖:

>您還可以創建一個使用管理表磚起程拓殖的提供者databricks_table

但這些鏈接“databricks_table”和“databricks_view”導致TF提供者文檔似乎不再提供說這些資源?

>頁麵未找到:這個文檔版本的1.14.3頁麵不存在提供者。

磚docs過時了嗎?然後還有另一種方法來創建統一編目表或視圖通過特遣部隊嗎?

我的具體問題我有一些配置數據在起程拓殖的文件需要被用來創建一個特定的視圖。TF配置顯然不是可以從磚工作區所以我不能從工作區中創建視圖,因此我想通過TF創建視圖的配置數據是現成的。

我已經通過TF目錄,創建模式和其他的磚。

如果無法創建表和視圖通過TF,是否有其他方式的數據定義在TF文件可以暴露在磚的工作嗎?然後我可以創造我的觀點在工作區中環境(通過Python或SQL)。

1接受解決方案

接受的解決方案

DBedrenko
新的貢獻者三世

嗯看來磚開發人員在團結中創建表/視圖目錄從起程拓殖沮喪:

>有不少差距/邊界情況與表API,因此客戶不應該使用API或起程拓殖創建/管理統一目錄表和視圖。beplay体育app下载地址

所以我認為最好的方法來創建表/視圖是通過工作,直到磚提供一個穩定的API通過起程拓殖。

為後代,也有另一種數據通信TF磚:通過美麗的秘密。

在原帖子查看解決方案

4回複4

匿名
不適用

@Daniel Bedrenko:

您可以創建通過起程拓殖使用統一目錄表和視圖

databricks_sql_script資源。與這個資源,您可以定義的SQL腳本創建表或視圖和運行它通過起程拓殖。這裏有一個例子,您可以創建一個使用這個資源視圖:

數據庫資源”databricks_sql_script”“example_view”{=“example_db”內容=“創建視圖example_view SELECT *從example_table id > 10;”}

在這個例子中,我們創建一個視圖被稱為example_view example_db數據庫,和視圖從example_table選擇所有行id列大於10。

或者,如果你有數據定義在TF文件需要暴露在磚工作空間,您可以使用databricks_notebook資源創建一個Python或SQL筆記本,包括數據和在工作區中創建視圖。這裏有一個例子,您可以創建一個Python筆記本,創建了一個視圖:

”資源”databricks_notebook“example_notebook“{name = " example_notebook "語言= content_base64 = base64encode (templatefile (“PYTHON example_notebook.py。tpl ", {example_data = var.example_data}))}數據”template_file example_notebook_py”{模板= < < sql從pyspark.sql EOF #魔法%。函數從pyspark.sql進口*。類型導入* example_data = $ {jsonencode (var.example_data)} df =火花。createDataFrame (example_data [StructField (“id”, IntegerType(),真的),StructField(“名字”,StringType(),真的),StructField(“時代”,IntegerType(),真的)])df.createOrReplaceTempView (“example_view”) EOF var = {example_data = var.example_data}}變量“example_data”{類型=任何}

在本例中,我們創建一個Python叫做example_notebook的筆記本,需要在一個名為example_data的變量,它包含的數據需要暴露在工作區。的

content_base64字段包含的base64編碼內容筆記本,從模板文件生成。example_notebook.py。tpl模板文件包含Python代碼,使用的數據創建視圖example_data變量。

我希望這可以幫助,讓我知道如果你有任何進一步的問題!

DBedrenko
新的貢獻者三世

謝謝你全麵的答案,它太有用了!

1問題:你提到一個“databricks_sql_script”資源,但是我找不到這樣的資源提供文檔。我能看到的databricks_sql_query的,但是它沒有“數據庫”和“內容”領域在你的例子中,所以我不確定這是你的意思。

DBedrenko
新的貢獻者三世

嗯看來磚開發人員在團結中創建表/視圖目錄從起程拓殖沮喪:

>有不少差距/邊界情況與表API,因此客戶不應該使用API或起程拓殖創建/管理統一目錄表和視圖。beplay体育app下载地址

所以我認為最好的方法來創建表/視圖是通過工作,直到磚提供一個穩定的API通過起程拓殖。

為後代,也有另一種數據通信TF磚:通過美麗的秘密。

匿名
不適用

@Daniel Bedrenko:

是的,你是正確的。磚開發人員阻止起程拓殖創建和管理統一使用API或目錄表和視圖由於缺口和邊界情況與表API。相反,他們建議使用工作表和視圖來創建和管理。

使用工作是一個好的選擇使用起程拓殖創建表和視圖。您可以創建一個腳本,該腳本創建表或視圖,然後使用起程拓殖管理工作。這允許您創建和管理表和視圖從起程拓殖的差距和邊界情況,同時避免表API。

關於通信的數據從起程拓殖到磚,使用Kubernetes秘密是一個很好的選擇。您可以創建一個Kubernetes秘密的配置數據需要使用磚的工作空間,然後通過秘密磚集群作為一個環境變量或安裝體積。

總的來說,使用工作和Kubernetes秘密是好的解決方案統一目錄中創建和管理表和視圖從起程拓殖和溝通數據從起程拓殖到磚。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map