使用dbx Visual Studio代碼

步驟1:創建一個Python虛擬環境

1. 從您的終端,創建一個空白的文件夾包含一個虛擬環境代碼示例。這些指令使用父文件夾命名ide-demo。你可以給這個文件夾任何你想要的名字。如果你使用一個不同的名稱,取代本文的名字。創建的文件夾後,切換到它,然後開始Visual Studio代碼從文件夾中。一定要包括點(。後)代碼命令。

   對於Linux和macOS:

   mkdir ide-democdide-demo代碼。

   提示

   如果你得到這個錯誤命令不發現:代碼,請參閱從命令行啟動在微軟的網站。

   Windows:

   醫學博士ide-democdide-demo代碼。

2. 在Visual Studio代碼,在菜單欄,點擊視圖>終端。

3. 的根源ide-demo文件夾,運行pipenv命令使用以下選項,<版本>是目標的Python版本已經安裝在本地(理想情況下,一個版本相匹配你的目標集群的版本的Python),例如3.8.14。

   pipenv——python <版本>

   記下的Virtualenv位置價值的輸出pipenv命令,如您需要在下一步。

4. 選擇目標Python解釋器,然後激活Python虛擬環境:

   1. 在菜單欄,點擊視圖>命令麵板、類型Python:選擇,然後單擊Python:選擇翻譯。

   2. 在Python的路徑選擇Python解釋器您剛剛創建的虛擬環境。(這條路是上市的Virtualenv位置價值的輸出pipenv命令。)

   3. 在菜單欄,點擊視圖>命令麵板、類型終端:創建,然後單擊終端:創建新的終端。

   4. 確保你的命令提示符顯示pipenv殼。確認,您應當會看到類似(<用戶名>)之前你的命令提示符。如果你沒有看到它,運行以下命令:

      pipenv殼

      退出pipenv殼,運行命令退出,括號中消失。

   有關更多信息,請參見使用Python環境VS代碼在Visual Studio代碼文檔。

步驟2:克隆GitHub的代碼示例

1. 在Visual Studio代碼,打開ide-demo文件夾(文件>打開文件夾),如果不是已經打開。

2. 點擊視圖>命令麵板、類型Git:克隆,然後單擊Git:克隆。

3. 為提供存儲庫URL或選擇一個存儲庫源,輸入https://github.com/databricks/ide-best-practices

4. 瀏覽到你的ide-demo文件夾,然後單擊選擇存儲位置。

第三步:安裝代碼示例的依賴性

1. 安裝的版本dbx和磚CLI或低於0.17版本的兼容版本的Python。要做到這一點,從你的終端,在Visual Studio代碼從你ide-demo文件夾和一個pipenvshell激活(pipenv殼牌),運行以下命令:

   pip安裝dbx

2. 確認dbx安裝。要做到這一點,運行以下命令:

   dbx——版本

   如果版本號返回,dbx安裝。

   如果版本號低於0.8.0,升級dbx通過運行下麵的命令,然後再次檢查版本號:

   pip安裝dbx——dbx升級版本#還是……python - m pip安裝dbx——dbx升級版本

3. 當你安裝dbx遺留數據磚CLI(磚CLI版本0.17)會自動安裝。確認遺留數據磚安裝CLI(磚CLI的0.17版本),運行以下命令:

   磚,版本

   如果返回磚CLI的0.17版本,遺留數據磚CLI安裝。

4. 如果您還沒有設置遺留數據磚CLI(磚CLI的0.17版本)身份驗證,你必須現在就做。確認身份驗證設置,基本運行以下命令來獲得一些關於磚工作區的摘要信息。一定要包括斜杠(/後)ls子命令:

   磚工作區ls /

   如果一個root文件夾名稱列表返回您的工作區,身份驗證設置。

5. 安裝Python包,這段代碼示例取決於。要做到這一點,從運行以下命令ide-demo / ide-best-practices文件夾:

   pip安裝- r unit-requirements.txt

6. 確認代碼示例的安裝依賴包。要做到這一點,運行以下命令:

   皮普列表

   如果包中列出讓和unit-requirements.txt文件在這個列表,安裝依賴包。

   請注意

   中列出的文件讓為特定的包的版本。為了更好的兼容性,可以交叉引用這些版本集群節點類型你希望你的磚工作區用於部署運行後。看到您的集群的“係統環境”一節的磚在運行時版本磚的運行時版本。

步驟4:定製的代碼示例數據磚工作區

1. 定製的回購dbx項目設置。要做到這一點,.dbx / project.json文件,改變的價值配置文件對象從默認的這個概要文件的名稱相匹配的一個遺留的磚你設置身份驗證CLI(磚CLI的版本0.17)。如果你沒有設置任何非默認配置文件,離開了默認的為是。例如:

   {“環境”:{“默認”:{“配置文件”:“默認”,“storage_type”:“mlflow”,“屬性”:{“workspace_directory”:“/共享/ dbx / covid_analysis”,“artifact_location”:“dbfs: /共享/ dbx /項目/ covid_analysis”}}},“inplace_jinja_support”:假}

2. 自定義dbx項目的部署設置。要做到這一點,conf / deployment.yml文件,改變的價值spark_version和node_type_id對象從10.4.x-scala2.12和m6gd.large的磚運行時版本字符串和集群節點類型你想讓你的磚工作區用於部署運行。

   例如,指定運行時10.4 LTS和磚n1-highmem-4節點類型:

   環境:默認的:工作流:- - - - - -的名字:“covid_analysis_etl_integ”new_cluster:spark_version:“10.4.x-scala2.12”num_workers:1node_type_id:“n1-highmem-4”spark_python_task:python_file:“文件:/ /工作/ covid_trends_job.py”- - - - - -的名字:“covid_analysis_etl_prod”new_cluster:spark_version:“10.4.x-scala2.12”num_workers:1node_type_id:“n1-highmem-4”spark_python_task:python_file:“文件:/ /工作/ covid_trends_job.py”參數:(”——刺激”]- - - - - -的名字:“covid_analysis_etl_raw”new_cluster:spark_version:“10.4.x-scala2.12”num_workers:1node_type_id:“n1-highmem-4”spark_python_task:python_file:“文件:/ /工作/ covid_trends_job_raw.py”

代碼模塊化

測試

包裝

的setup . py文件提供的命令運行在控製台(控製台腳本),等皮普命令,Python包裝項目setuptools。看到入口點在setuptools文檔。

其他文件

還有其他文件在這之前沒有描述代碼示例:

• 的.github /工作流文件夾包含三個文件,databricks_pull_request_tests.yml,onpush.yml,onrelease.yaml,表示GitHub的行動,在後麵介紹GitHub的行為部分。

• 的.gitignore文件包含一個本地文件夾和文件列表,Git忽略了回購。

使用dbx運行

1. 安裝的內容covid_analysis文件夾在Python包setuptools發展模式通過運行下麵的命令從你的根源dbx項目(例如,ide-demo / ide-best-practices文件夾)。一定要包括點(。)結束時,這個命令:

   pip安裝- e。

   這個命令創建一個covid_analysis.egg-info文件夾,其中包含編譯後的版本的信息covid_analysis / __init__ . py和covid_analysis / transforms.py文件。

2. 運行測試通過運行下麵的命令:

   pytest測試/

   測試的結果顯示在終端。所有四個測試應該顯示為通過。

   提示

   額外的測試方法,包括檢測R和Scala筆記本,看到的單元測試的筆記本。

3. 可選地,獲得您的測試的測試覆蓋度量通過運行下麵的命令:

   覆蓋運行- m pytest測試/

   請注意

   如果將顯示一條消息報道無法找到運行皮普安裝報道,再試一次。

   查看測試覆蓋率結果,運行以下命令:

   覆蓋率報告- m

4. 如果通過所有四個測試,發送dbx項目的內容到你的磚工作區,通過運行下麵的命令:

   dbx部署——環境=默認的

   項目及其運行的信息被發送到指定的位置workspace_directory對象.dbx / project.json文件。

   項目的內容發送到指定的位置artifact_location對象.dbx / project.json文件。

5. 運行前期製作版本的代碼在您的工作區,通過運行下麵的命令:

   dbx發射covid_analysis_etl_integ

   鏈接顯示在終端運行的結果。它應該是這樣的:

   https:// < your-workspace-instance-id > / ? o=1234567890123456#工作/ 123456789012345 / / 12345運行

   按照這個鏈接在您的web瀏覽器中看到在您的工作空間中運行的結果。

6. 生產版本的代碼運行在您的工作區,通過運行下麵的命令:

   dbx發射covid_analysis_etl_prod

   鏈接顯示在終端運行的結果。它應該是這樣的:

   https:// < your-workspace-instance-id > / ? o=1234567890123456#工作/ 123456789012345 / / 23456運行

   按照這個鏈接在您的web瀏覽器中看到在您的工作空間中運行的結果。

使用GitHub運行操作

在項目的.github /工作流文件夾,onpush.yml和onrelease.ymlGitHub行動文件執行以下操作:

• 在每一個開始推動一個標簽v,使用dbx部署covid_analysis_etl_prod的工作。

• 在每個推動這並不是一個開始標記v:

  1. 使用pytest運行單元測試。

  2. 使用dbx配置文件中指定的covid_analysis_etl_integ工作遠程工作區。

  3. 使用dbx已經部署的文件中指定covid_analysis_etl_integ工作在遠程工作,跟蹤運行,直到它完成。

接下來的部分描述如何設置和運行onpush.yml和onrelease.ymlGitHub的操作文件。