用dbx同步本地文件與遠程實時工作區

dbx同步開發工作流程

有兩個開發工作流dbx同步,一個DBFS和另一個磚回購。

典型的開發流程dbx同步和DBFS是:

1. 確定一個本地目錄,其中包含您想要同步的文件DBFS。

2. 確定你想要的路徑DBFS同步(或者讓你當地的目錄dbx同步為你創建一個默認DBFS路徑)。

3. 運行dbx同步dbfs同步你的本地目錄DBFS路徑。dbx同步開始看您的本地目錄的任何文件更改。

4. 根據需要更改文件在您的本地目錄。dbx同步這些變化適用於相應的實時DBFS路徑中的文件。

典型的開發流程dbx同步和磚回購是:

1. 創建一個存儲庫和一個Git提供者磚回購協議的支持,如果你已經沒有可用的存儲庫。

2. 克隆回購到磚工作區中。

3. 克隆回購到本地開發的機器。

4. 運行dbx同步回購把當地的克隆回購和工作區克隆回購。dbx同步開始看您的本地目錄的任何文件更改。

5. 更改文件在您的本地克隆回購。dbx同步這些變化適用於相應的文件實時數據磚回購。

6. 定期推送更新文件從您的工作區中克隆的回購Git提供者,因此回購保持最新Git提供者。

需求

如果你想使用dbx同步磚回購,磚工作區必須符合下列要求:

• 一個克隆與Git存儲庫的提供者,而不是必需的,是建議。

本地開發機器上,您必須安裝以下:

• Python版本3.8或更高版本。檢查是否安裝Python,檢查你的安裝Python版本,運行python——版本在你的終端或PowerShell。

  python的版本

  請注意

  一些設施python你可能需要使用嗎python3而不是python。如果是這樣,替代python與python3在這篇文章。

• 皮普。檢查是否皮普安裝,檢查你的安裝嗎皮普版本,運行皮普——版本或python- m皮普——版本。

  皮普,版本#還是……python - m pip -版本

  請注意

  一些設施皮普你可能需要使用嗎pip3而不是皮普。如果是這樣,替代皮普與pip3在這篇文章。

• dbx0.8.0或以上版本。檢查是否dbx安裝,檢查你的安裝嗎dbx版本,運行dbx——版本。安裝dbx從Python包指數(PyPI)運行皮普安裝dbx或python- m皮普安裝dbx。(dbx包括dbx同步。)

  #檢查dbx是否安裝,並檢查它的版本。dbx——版本#安裝dbx。pip安裝dbx#還是……python - m pip安裝dbx

  請注意

  更多信息dbx,請參閱dbx的磚實驗室和dbx文檔。

• 的磚CLI或低於0.17版本,設置身份驗證。遺留數據磚CLI(磚CLI的0.17版)是自動安裝時安裝dbx。這種身份驗證可以設置本地開發機器上的一個或兩個以下位置:

  • 在DATABRICKS_HOST和DATABRICKS_TOKEN環境變量(與遺留數據磚CLI 0.8.0版開始)。

  • 在一個磚配置概要文件在你的.databrickscfg文件。

  dbx分別在這兩個位置查找身份驗證憑證。dbx隻使用它找到的第一組匹配的憑證。

  請注意

  如果你使用一個.databrickscfg文件,dbx同步在這個文件中查找一個配置概要文件命名默認的默認情況下。要指定一個不同的配置文件,可以使用——簡介運行時選項dbx同步命令,在本文的後麵。

  dbx不支持使用嗎. netrc申請認證。

• 如果你想使用dbx同步磚回購協議,本地Git克隆存儲庫的提供者,而不是必需的,是建議。執行當地的克隆,谘詢你的Git提供者的文檔。

使用DBFSdbx同步

1. 從終端或PowerShell本地開發機器上,改變目錄包含文件你想同步DBFS磚工作區。

2. 運行dbx同步命令來同步您的本地目錄在您的工作區DBFS,如下。(不要忘記點(。)在最後,這代表當前目錄。)

   dbx dbfs——源同步。

   提示

   指定一個不同的源目錄,替換點(。一條不同的道路。

   請注意

   如果錯誤錯誤:沒有這樣的命令“同步”看來,你的安裝dbx可能是過時了。為了解決這個問題,運行皮普安裝——升級dbx = = <版本>或python- m皮普安裝——升級dbx = =版本,在那裏<版本>是最新版本的嗎dbx。這個版本號上可以找到PyPI dbx的網頁。

   pip安裝,升級dbx= =<版本>#還是……python - m pip安裝,升級dbx= =版本

3. dbx同步開始同步文件在你當前的本地目錄與文件在以下DBFS路徑在工作區中。dbx同步證實了這種通過印刷目標基地路徑其次是DBFS路徑,例如:

   / tmp /用戶/ < your-Databricks-username > / < local-directory-name >

   提示

   指定一個不同的用戶名或DBFS路徑,指定——用戶和——桌子當你運行選項,分別dbx同步。

4. 如有需要,修改你的本地文件。

   重要的

   你必須保持你的終端或PowerShell開放dbx同步繼續同步。如果你閉上你的終端或PowerShell,dbx同步停止看文件和停止同步變化。恢複文件同步變化,重複這個過程從一開始。

5. 根據需要,驗證您的文件更改在前麵的路徑在DBFS工作區。

使用磚回購dbx同步

1. 從終端或PowerShell本地開發機器上,改變根目錄,其中包含與Git存儲庫的克隆提供者。

2. 磚的工作區,確定磚回購的名稱,你想同步本地克隆回購。你可以找到這個回購名稱點擊回購在您的工作空間的側邊欄。

3. 本地開發機器上運行dbx同步命令來同步您的本地克隆存儲庫工作區中的磚回購協議如下,更換< your-repo-name >磚回購協議的回購的名稱。(不要忘記點(。)在最後,這代表當前目錄。)

   dbx回購- d < your-repo-name >——源同步。

   提示

   指定一個不同的源目錄,替換點(。一條不同的道路。

   請注意

   如果錯誤錯誤:沒有這樣的命令“同步”看來,你的安裝dbx可能是過時了。為了解決這個問題,運行皮普安裝——升級dbx = = <版本>或python- m皮普安裝——升級dbx = =版本,在那裏<版本>是最新版本的嗎dbx。這個版本號上可以找到PyPI dbx的網頁。

   pip安裝,升級dbx= =<版本>#還是……python - m pip安裝,升級dbx= =版本

4. dbx同步開始同步文件在您的本地克隆存儲庫工作區中的文件數據磚回購。dbx同步證實了這種通過印刷目標基地路徑其次是磚回購的路徑,例如:

   /回購/ < your-Databricks-username > / < your-repo-name >

   提示

   指定一個不同的用戶名或回購名稱,指定——用戶和——dest-repo當你運行選項,分別dbx同步。

5. 如有需要,修改你的本地文件。

   重要的

   你必須保持你的終端或PowerShell開放dbx同步繼續同步。如果你閉上你的終端或PowerShell,dbx同步停止看文件和停止同步變化。恢複文件同步變化,重複這個過程從一開始。

6. 根據需要,驗證文件工作區中的磚回購的變化。

額外的資源

• dbx文檔

• dbx同步文件

• databrickslabs / dbx在GitHub庫

• dbx的局限性