使用Databricks的IDE

步驟1:創建一個Python虛擬環境

1. 從終端創建一個空白文件夾，以包含此代碼示例的虛擬環境。這些指令使用名為ide-demo．你可以給這個文件夾起任何名字。如果使用不同的名稱，請在本文中替換該名稱。創建文件夾後，切換到該文件夾，然後從該文件夾啟動Visual Studio Code。一定要加上點(．)後代碼命令。

   對於Linux和macOS:

   mkdir ide-democd演示代碼。

   提示

   如果你得到了錯誤命令不發現:代碼,請參閱從命令行啟動在微軟網站上。

   Windows:

   醫學博士ide-democdide-demo代碼．

2. 在Visual Studio Code中，在菜單欄上單擊查看“> Terminal”．

3. 從根的ide-demo文件夾，運行pipenv使用以下選項命令，其中<版本>例如，您已經在本地安裝的Python的目標版本(並且，理想情況下，是與您的目標集群的Python版本相匹配的版本)3.8.14．

   Pipenv——python < >版本

   記一下Virtualenv位置的輸出中pipenv命令，因為您將在下一步中需要它。

4. 選擇目標Python解釋器，然後激活Python虛擬環境:

   1. 在菜單欄上，單擊查看>命令麵板、類型Python:選擇，然後按Python:選擇Interpreter．

   2. 在剛剛創建的Python虛擬環境的路徑中選擇Python解釋器。(該路徑被列為Virtualenv位置的輸出中pipenv命令。)

   3. 在菜單欄上，單擊查看>命令麵板、類型終端:創建，然後按終端:新建終端．

   4. 確保命令提示符表明您處於pipenv殼。要確認，你應該會看到如下內容(<用戶名>)在命令提示符之前。如果沒有，執行以下命令:

      pipenv殼

      退出。pipenvShell，執行命令退出，括號消失。

   有關更多信息，請參見在VS Code中使用Python環境在Visual Studio Code文檔中。

步驟2:從GitHub克隆代碼示例

1. 在Visual Studio Code中，打開ide-demo文件夾(打開文件夾)，如果它還沒有打開。

2. 點擊查看>命令麵板、類型Git:克隆，然後按Git:克隆．

3. 為提供存儲庫URL或選擇存儲庫源,輸入https://github.com/databricks/ide-best-practices

4. 瀏覽到您的ide-demo文件夾，然後單擊選擇存儲庫位置．

步驟3:安裝代碼示例的依賴項

1. 安裝版本的dbx以及與您的Python版本兼容的Databricks命令行。要做到這一點，在Visual Studio Code從您的終端，從您的ide-demo帶有pipenv外殼已激活(pipenv殼牌)，執行以下命令:

   PIP安裝DBX

2. 確認dbx安裝。為此，運行以下命令:

   dbx——版本

   如果返回版本號，dbx安裝。

   如果版本號低於0.8.0，請升級dbx執行如下命令，重新檢查版本號。

   PIP安裝DBX——升級DBX——版本#或…Python -m PIP install DBX——upgrade DBX——version

3. 安裝時dbx，同時自動安裝Databricks命令行。使用實例確認已安裝Databricks命令行。

   磚,版本

   如果返回版本號，表示已安裝Databricks命令行。

4. 如果您還沒有設置Databricks命令行身份驗證你必須現在就做。要確認已設置身份驗證，請運行以下基本命令來獲取有關Databricks工作空間的一些摘要信息。一定要包括正斜杠(/)後ls子命令:

   Databricks工作區ls /

   如果返回工作空間的根級文件夾名稱列表，則設置身份驗證。

5. 安裝此代碼示例所依賴的Python包。要做到這一點，請從ide-demo / ide-best-practices文件夾:

   PIP install -r unit-requirements.txt

6. 確認安裝了代碼示例的依賴包。為此，運行以下命令:

   皮普列表

   中列出的包讓而且unit-requirements.txt文件位於此列表中的某個位置，安裝了相關的包。

   請注意

   列出的文件讓用於特定的包版本。為獲得更好的兼容性，可以將這些版本與集群節點類型您希望Databricks工作空間稍後使用它來運行部署。請參閱您的集群的Databricks運行時版本的“係統環境”部分Databricks運行時版本．

步驟4:為Databricks工作空間定製代碼示例

1. 定製回購dbx項目設置。要做到這一點，在.dbx / project.json文件，更改的值配置文件對象從默認的與您使用Databricks CLI為身份驗證設置的配置文件的名稱相匹配。如果沒有設置任何非默認配置文件，請離開默認的為是。例如:

   ｛“環境”：｛“默認”：｛“配置文件”：“默認”，“storage_type”：“mlflow”，“屬性”：｛“workspace_directory”：“/共享/ dbx / covid_analysis”，“artifact_location”：“dbfs: /共享/ dbx /項目/ covid_analysis”｝｝}，“inplace_jinja_support”：假｝

2. 自定義dbx項目的部署設置。要做到這一點，在conf / deployment.yml文件，更改的值spark_version而且node_type_id對象從10.4.x-scala2.12而且m6gd.large數據庫運行時版本字符串而且集群節點類型您希望Databricks工作空間用於在其上運行部署。

   例如，指定Databricks Runtime 10.4 LTS和一個i3.xlarge節點類型:

   環境：默認的：工作流：-的名字：“covid_analysis_etl_integ”new_cluster：spark_version：“10.4.x-scala2.12”num_workers：1node_type_id：“i3.xlarge”spark_python_task：python_file：“文件:/ /工作/ covid_trends_job.py”-的名字：“covid_analysis_etl_prod”new_cluster：spark_version：“10.4.x-scala2.12”num_workers：1node_type_id：“i3.xlarge”spark_python_task：python_file：“文件:/ /工作/ covid_trends_job.py”參數：［”——刺激”］-的名字：“covid_analysis_etl_raw”new_cluster：spark_version：“10.4.x-scala2.12”num_workers：1node_type_id：“i3.xlarge”spark_python_task：python_file：“文件:/ /工作/ covid_trends_job_raw.py”

代碼模塊化

測試

包裝

的setup . py文件提供要在控製台(控製台腳本)上運行的命令，例如皮普命令，用於打包Python項目setuptools．看到入口點在setuptools文檔。

其他文件

在這個代碼示例中還有一些之前沒有描述過的文件:

• 的.github /工作流文件夾包含三個文件，databricks_pull_request_tests.yml，onpush.yml,onrelease.yaml，它們表示GitHub操作，這些操作將在後麵介紹GitHub的行為部分。

• 的.gitignorefile包含Git為您的repo忽略的本地文件夾和文件列表。

使用dbx運行

1. 的內容安裝covid_analysis文件夾作為Python中的一個包setuptools發展模式從目錄的根目錄運行以下命令dbx項目(例如ide-demo / ide-best-practices文件夾)。一定要加上點(．)在命令的末尾:

   PIP install -e。

   此命令創建一個covid_analysis.egg-info類已編譯版本的信息covid_analysis / __init__ . py而且covid_analysis / transforms.py文件。

2. 運行以下命令運行測試:

   pytest測試/

   測試結果顯示在終端中。所有四個測試都應顯示通過。

   提示

   有關測試的其他方法，包括R和Scala筆記本的測試，請參見筆記本的單元測試．

3. 可選地，通過運行以下命令獲取測試的測試覆蓋率指標:

   覆蓋運行-m pytest tests/

   請注意

   如果有消息顯示報道找不到，運行皮普安裝報道，然後再試一次。

   要查看測試覆蓋率結果，運行以下命令:

   覆蓋率報告-m

4. 如果所有四個測試都通過，則發送dbx項目的內容到您的Databricks工作空間，通過運行以下命令:

   DBX部署——環境＝默認的

   控件中指定的位置發送有關項目及其運行的信息workspace_directory對象中的.dbx / project.json文件。

   控件中指定的位置發送項目的內容artifact_location對象中的.dbx / project.json文件。

5. 通過運行以下命令，在您的工作空間中運行代碼的預生產版本:

   DBX啟動covid_analysis_etl_integ

   終端上顯示運行結果的鏈接。它應該看起來像這樣:

   https:// < your-workspace-instance-id > / ? o＝1234567890123456#工作/ 123456789012345 / / 12345運行

   在您的web瀏覽器中按此鏈接查看運行結果。

6. 通過運行以下命令，在您的工作空間中運行代碼的生產版本:

   DBX啟動covid_analysis_etl_prod

   終端上顯示運行結果的鏈接。它應該看起來像這樣:

   https:// < your-workspace-instance-id > / ? o＝1234567890123456#工作/ 123456789012345 / / 23456運行

   在您的web瀏覽器中按此鏈接查看運行結果。

運行與GitHub動作

在項目的.github /工作流文件夾,onpush.yml而且onrelease.ymlGitHub Actions文件做以下工作:

• 每次推到以v,使用dbx部署covid_analysis_etl_prod的工作。

• 在每次推送時，它不是指向以v：

  1. 使用pytest來運行單元測試。

  2. 使用dbx中指定的文件covid_analysis_etl_integ作業轉移到遠程工作區。

  3. 使用dbx中指定的已部署文件covid_analysis_etl_integ作業，跟蹤此運行直到它完成。

的子部分描述如何設置和運行onpush.yml而且onrelease.ymlGitHub動作文件。