CLI(遺留)

重要的

這個文檔已經退休了,可能不會被更新。

這個信息適用於遺留數據磚CLI版本0.17及以下。磚建議你使用新磚CLI的版本0.200及以上。看到磚CLI。找到你的版本的磚CLI,運行磚- v。

你運行數據磚工作運行CLI子命令通過添加磚運行和磚工作CLI子命令通過添加磚工作。磚的工作CLI子命令,請參閱喬布斯CLI(遺留)。在一起,這些子命令調用喬布斯API和喬布斯API 2.0。

重要的

磚的工作運行CLI支持調用兩個版本的磚工作REST API:版本2.1和2.0。(工作運行功能是就業REST API的一部分。)2.1版本增加了支持與多個任務編排工作;看到創建和運行數據磚的工作和喬布斯API更新。磚建議你叫2.1版本,除非你有遺留的腳本依賴版本2.0,不能遷移。

除非另有規定,本文中描述的程序性行為同樣適用於版本2.1和2.0。

請注意

如果你收到一個500級的錯誤時工作運行CLI請求,磚建議重試請求長達10分鍾(重試之間至少30秒的時間間隔)。

要求調用REST API 2.1工作

設置數據磚工作運行CLI(和就業CLI)調用REST API 2.1工作,做到以下幾點:

  1. 更新CLI0.16.0版或以上。

  2. 做下列之一:

    • 運行以下命令磚工作配置——版本= 2.1。這增加了設置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.1默認情況下工作。

    • 手動添加背景jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.1默認情況下工作。

    • 附加的選項——版本= 2.1(例如,磚運行列表——版本= 2.1)指導工作運行CLI調用隻工作2.1 REST API調用。

    如果你之前沒有采取行動,工作運行CLI(和就業CLI)將調用REST API 2.0默認情況下工作。

要求調用REST API 2.0工作

設置數據磚工作運行CLI(和就業CLI)調用REST API 2.0工作,做以下之一:

  • 使用一個版本的磚CLI 0.16.0以下,或

  • 更新CLI0.16.0或以上版本,然後做下列之一:

    • 運行以下命令磚工作配置——版本= 2.0。這增加了設置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.0默認情況下工作。

    • 手動添加背景jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.0默認情況下工作。

    • 附加的選項——版本= 2.1(例如,磚運行列表——版本= 2.0)指導工作運行CLI調用隻工作2.0 REST API調用。

如果你之前沒有采取行動,工作運行CLI(和就業CLI)將調用REST API 2.0默認情況下工作。

子命令和一般使用

磚運行——幫助
用法:磚運行[選項]命令(ARGS)……公用事業與工作運行。選項:- v、版本(版本)——調試調試模式。顯示完整的堆棧跟蹤誤差。——概要文本使用CLI連接配置文件。默認的配置文件是“默認”。- h,幫助顯示此消息並退出。命令:取消取消指定的運行。得到關於運行在JSON形式的元數據。輸出得到的輸出。 list Lists job runs. submit Submits a one-time run.

取消運行

顯示使用文檔,運行磚運行取消——幫助。

磚取消運行,運行id119年
{}

得到信息

顯示使用文檔,運行磚運行得到——幫助。

一般使用

磚運行,運行id119年

2.1工作CLI使用筆記和反應的例子

看到運行得到在喬布斯API更新。

2.0工作CLI反應的例子

{“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“狀態”:{“life_cycle_state”:“終止”,“result_state”:“成功”,“state_message”:“},"任務":{" notebook_task ": {:“notebook_path /用戶/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“觸發”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.www.eheci.com/?o=1234567890123456作業/ 239 /運行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0}

得到的輸出

顯示使用文檔,運行磚運行輸出——幫助。

請注意

當一個notebook_task從調用返回一個值dbutils.notebook.exit ()磚限製返回的值的第一個5 MB的數據。返回一個更大的結果,你可以工作的結果存儲在雲存儲服務。

一般使用

磚運行輸出——運行id119年

2.1工作CLI使用筆記

看到運行得到的輸出在喬布斯API更新。

2.0工作CLI反應的例子

{“元數據”:{“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“狀態”:{“life_cycle_state”:“終止”,“result_state”:“成功”,“state_message”:“},"任務":{" notebook_task ": {:“notebook_path /用戶/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“觸發”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.www.eheci.com/?o=1234567890123456作業/ 239 /運行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0},“notebook_output”: {}}

得到所有的信息

顯示使用文檔,運行磚運行列表——幫助。

一般使用

磚運行列表——JSON輸出

2.1工作CLI使用筆記和反應的例子

看到運行清單在喬布斯API更新。

2.0工作CLI反應的例子

{“運行”:({“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“狀態”:{“life_cycle_state”:“終止”,“result_state”:“成功”,“state_message”:“},"任務":{" notebook_task ": {:“notebook_path /用戶/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“觸發”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.www.eheci.com/?o=1234567890123456作業/ 239 /運行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0},…),“has_more”:假的}

如果has_more返回真正的,額外的信息是可用的。使用——抵消選擇返回運行相對於最近運行的信息。例如,返回信息從第十最近運行,指定——抵消10。

使用——限製選擇返回固定數量的運行信息。例如,要為下一個5分返回信息,指定——限製5。您可以指定多達1000。如果沒有指定,默認為20。

提交一次運行

顯示使用文檔,運行磚運行提交——幫助。

一般使用

磚跑提交——json文件submit-run.json

喬布斯REST API 2.1使用說明和請求的例子

看到運行提交在喬布斯API更新。

2.0工作REST API請求和響應的例子

submit-run.json:

{“run_name”:“my-spark-run”,“new_cluster”:{“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“r3.xlarge”,“aws_attributes”:{“可用性”:“ON_DEMAND”},“num_workers”:10},“庫”:({“罐子”:“dbfs: / my-jar.jar”},{“專家”:{“坐標”:“org.jsoup: jsoup: 1.7.2”}}),“spark_jar_task”:{“main_class_name”:“com.databricks.ComputeModels”}}
{“run_id”: 123}