我在磚使用databricks-cli:創建一個新的工作
磚的工作創建json文件。/部署/磚/ config / job.config.json
用下麵的json:
{" name ":“工作名稱”,“new_cluster”: {“spark_version”:“4.1.x-scala2.11”、“node_type_id”:“Standard_D3_v2”、“num_workers”: 3,“spark_env_vars”: {“PYSPARK_PYTHON”:“磚/ python3 / bin / python3”}},“庫”:[{maven:{“坐標”:“com.microsoft.sqlserver: mssql-jdbc: 6.5.3。jre8-preview "}}],“timeout_seconds”: 3600年,“max_retries”: 3,“安排”:{“quartz_cron_expression”:“0 0 22 ?* *”、“timezone_id”:“以色列”},notebook_task: {“notebook_path”:“/筆記本電腦/ python_notebook "}}
我想添加參數,可以在筆記本上通過:
dbutils.widgets。文本(“argument1”、“<默認值>”)dbutils.widgets.get (“argument1”)
