三角洲生活表CLI(遺留)
運行數據磚三角洲生活表CLI子命令通過添加磚管道。這些子命令調用三角洲生活表API。
磚管道- h
用法:磚管道[選項]命令(ARGS)……效用與管道磚三角洲的生活表。選項:- v、——版本0.17.0調試調試模式。顯示完整的堆棧跟蹤誤差。——概要文本使用CLI連接配置文件。默認的配置文件是“默認”。- h,幫助顯示此消息並退出。命令:創建創建一個管道。delete刪除管道和取消任何積極更新。部署(棄用)這個命令是棄用,使用創建和編輯命令。 Creates or edits a pipeline specified by the pipeline settings. edit Edits a pipeline. get Gets a pipeline's current settings and status. list Lists all pipelines and their statuses. reset [Deprecated] Use the "start --full-refresh" command instead. Resets a pipeline so that data can be reprocessed from the beginning. run [Deprecated] Use the "start" command instead. Starts a pipeline update. start Starts a pipeline update. stop Stops the pipeline by cancelling any active update.
創建一個管道
顯示使用文檔,運行磚管道創建——幫助。
使用
create-pipeline.json磚管道的創建——設置
create-pipeline.json:
{“名稱”:“維基百科”管道(SQL),“存儲”:“/用戶/用戶名/數據”,“集群”:({“標簽”:“默認”,“自動定量”:{“min_workers”:1,“max_workers”:5}}),“庫”:({“筆記本”:{“路徑”:“/用戶/用戶名/δ生活表快速入門(SQL)”}}),“目標”:“wikipedia_analysis”,“連續”:假}
成功創建了管道:https:// < databricks-instance > / # joblist /管道/ 4 ee6b5c2 ec - 7017 - 11 - 90 - d6 - 0242 - ac120003 ID: 4 ee6b5c2 ec - 7017 - 11 - 90 - d6 - 0242 - ac120003。
編輯一個管道
顯示使用文檔,運行磚管道編輯——幫助。
使用
磚管道edit-pipeline.json編輯——設置
edit-pipeline.json:
{“id”:“4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003”,“名稱”:“維基百科”管道(SQL),“存儲”:“/用戶/用戶名/數據”,“集群”:({“標簽”:“默認”,“自動定量”:{“min_workers”:1,“max_workers”:3}}),“庫”:({“筆記本”:{“路徑”:“/用戶/用戶名/δ生活表快速入門(SQL)”}}),“目標”:“wikipedia_quickstart_data”,“連續”:假}
成功編輯管道設置:https:// < databricks-instance > / # joblist /管道/ 4 ee6b5c2 ec - 7017 - 11 - 90 - d6 - 0242 - ac120003。
得到信息管道
顯示使用文檔,運行磚管道得到——幫助。
使用
磚管道得到——pipeline-id 4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003
{“pipeline_id”:“4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003”,“規範”:{“id”:“4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003”,“名稱”:“維基百科”管道(SQL),“存儲”:“/用戶/用戶名/數據”,“集群”:({“標簽”:“默認”,“自動定量”:{“min_workers”:1,“max_workers”:5}}),“庫”:({“筆記本”:{“路徑”:“/用戶/用戶名/δ生活表快速入門(SQL)”}}),“目標”:“wikipedia_analysis”,“連續”:假},“狀態”:“空閑”,“名稱”:“維基百科”管道(SQL),“creator_user_name”:“username@www.eheci.com”,“last_modified”:1641600056265}
列出所有管道和狀態的信息
顯示使用文檔,運行磚管道列表——幫助。
使用
磚管道的列表
({“pipeline_id”:“8 a93e1b4 - 7024 - 11 - ec - 90 - d6 - 0242 - ac120003”,“狀態”:“空閑”,“名稱”:“零售銷售管道(SQL)”,“latest_updates”:({“update_id”:“9 df03924 - 7024 - 11 - ec - 90 - d6 - 0242 - ac120003”,“狀態”:“完成”,“creation_time”:“2021 - 10 - 29 t16:18:57.982z”},{“update_id”:“a57e601c - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“狀態”:“完成”,“creation_time”:“2021 - 10 - 28 - t18:19:30.371z”}),“creator_user_name”:“user@www.eheci.com”},{“pipeline_id”:“b46e2670 - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“狀態”:“空閑”,“名稱”:“DLT快速入門(Python)”,“latest_updates”:({“update_id”:“bcd8fa2e - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“狀態”:“完成”,“creation_time”:“2021 - 12 - 16 - t18:19:25.827z”},{“update_id”:“c2c7a2c8 - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“狀態”:“完成”,“creation_time”:“2021 - 10 - 29 t22:22:32.586z”},{“update_id”:“c88d2818 - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“狀態”:“完成”,“creation_time”:“2021 - 10 - 29 t22:16:18.258z”}),“creator_user_name”:“user@www.eheci.com”}]
開始一個管道更新
顯示使用文檔,運行磚管道開始——幫助。
磚管道開始,pipeline-id 4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003
開始一個更新c6462e2e beb7 - 4 - c24 a9d3 - 962 eaa19781b管道4 ee6b5c2 - 7017 - 11 - 0242 - ac120003 ec - 90 - d6 -。