取消
顯示的結果
而不是尋找
你的意思是:

如何通過配置值通過δδ生活表工作表API生活嗎

labromb
貢獻者

嗨,社區,

我已經成功地運行一個工作通過API,但需要傳遞參數(配置)DLT工作流通過API

我已經嚐試通過JSON格式:

{“full_refresh”:“真正的”、“配置”:[{“config1”:“config1_value”、“config2”:“config2_value”}]}

JSON結構的API似乎滿意但config1 config2未被覆蓋

任何幫助深表感謝。

3回複3

Kaniz
社區經理
社區經理

嗨@Brian Labrom,將參數傳遞給你的磚工作通過API,您可以使用配置選項,當啟動工作。

你需要修改notebook_task配置工作將這些參數作為參數傳遞給筆記本。

首先,你可以在你的筆記本使用dbutils.widgets.get訪問參數()。

這裏有一個例子:

full_refresh = dbutils.widgets.get (full_refresh) = = " true " config1 = dbutils.widgets.get (“config1”) config2 = dbutils.widgets.get (“config2”)

現在,當你提交工作通過API,通過參數

notebook_task節是這樣的:

{" name ":“我的工作”,“new_cluster”: {“spark_version”:“x.x.x-scala2。x”、“node_type_id”:“node_type”、“num_workers notebook_task“: 1}: {“notebook_path”:“/道路/ /你/筆記本”,“base_parameters”: {“full_refresh”:“真正的”、“config1”:“config1_value”、“config2”:“config2_value”}}}

替換/道路/ /你/筆記本與你的筆記本電腦的道路,和修改spark_version, node_type_id, num_workers根據您的要求。

如果你使用Python API調用或一個不同的語言,一定要調整相應的代碼。例如,在Python中,您可以使用圖書館的請求提交的工作是這樣的:

進口進口json請求api_key = " your_databricks_token " api_url = " https://your_databricks_instance/api/2.0/jobs/runs/submit "頭={“授權”:f“無記名{api_key}”,“內容類型”:“application / json”} job_config ={“名稱”:“我的工作”,“new_cluster”: {“spark_version”:“x.x.x-scala2。x”、“node_type_id”:“node_type”、“num_workers notebook_task“: 1}: {“notebook_path”:“/道路/ /你/筆記本”,“base_parameters”: {“full_refresh”:“真正的”、“config1”:“config1_value”、“config2”:“config2_value}}} =響應請求。帖子(api_url header =頭,data = json.dumps (job_config))

記得取代your_databricks_token your_databricks_instance和其他與你的實際值占位符。

嗨@Kaniz開羅,

隻是想知道有任何更新。這是一個相當重要的方麵如何實現DLT管道是很高興知道這是可以做到的,或者如果它的到來。

多謝。

labromb
貢獻者

嗨@Kaniz所有,謝謝你的詳細回複。看起來像響應談論工作,不是一個三角洲住表管道。道歉如果我最初的問題是不夠清晰……

我用δAPI:生活表

三角洲生活表API指南——微軟Azure磚|學習

和想要刷新一個DLT管道……我可以發起一個刷新但是需要能夠覆蓋DLT管道的配置與我提供的值。

我使用Azure數據工廠調用API所以隻需要知道請求中的JSON格式需要身體所以我可以覆蓋的參數

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map