嗨@Brian Labrom,將參數傳遞給你的磚工作通過API,您可以使用配置選項,當啟動工作。
你需要修改notebook_task配置工作將這些參數作為參數傳遞給筆記本。
首先,你可以在你的筆記本使用dbutils.widgets.get訪問參數()。
這裏有一個例子:
full_refresh = dbutils.widgets.get (full_refresh) = = " true " config1 = dbutils.widgets.get (“config1”) config2 = dbutils.widgets.get (“config2”)
現在,當你提交工作通過API,通過參數
notebook_task節是這樣的:
{" name ":“我的工作”,“new_cluster”: {“spark_version”:“x.x.x-scala2。x”、“node_type_id”:“node_type”、“num_workers notebook_task“: 1}: {“notebook_path”:“/道路/ /你/筆記本”,“base_parameters”: {“full_refresh”:“真正的”、“config1”:“config1_value”、“config2”:“config2_value”}}}
替換/道路/ /你/筆記本與你的筆記本電腦的道路,和修改spark_version, node_type_id, num_workers根據您的要求。
如果你使用Python API調用或一個不同的語言,一定要調整相應的代碼。例如,在Python中,您可以使用圖書館的請求提交的工作是這樣的:
進口進口json請求api_key = " your_databricks_token " api_url = " https://your_databricks_instance/api/2.0/jobs/runs/submit "頭={“授權”:f“無記名{api_key}”,“內容類型”:“application / json”} job_config ={“名稱”:“我的工作”,“new_cluster”: {“spark_version”:“x.x.x-scala2。x”、“node_type_id”:“node_type”、“num_workers notebook_task“: 1}: {“notebook_path”:“/道路/ /你/筆記本”,“base_parameters”: {“full_refresh”:“真正的”、“config1”:“config1_value”、“config2”:“config2_value}}} =響應請求。帖子(api_url header =頭,data = json.dumps (job_config))
記得取代your_databricks_token your_databricks_instance和其他與你的實際值占位符。
