磚連接的引用

步驟1:安裝磚連接的客戶端

1. 與你的虛擬環境激活,卸載PySpark,如果已經安裝,通過運行卸載命令。這是必需的,因為databricks-connect包與PySpark衝突。有關詳細信息,請參見衝突PySpark安裝。檢查PySpark是否已經安裝,運行顯示命令。

   # PySpark已經安裝?pip3顯示pyspark#卸載PySparkpip3卸載pyspark

2. 與虛擬環境仍然激活,安裝磚連接的客戶端運行安裝命令。使用——升級選擇升級任何現有的客戶端安裝指定的版本。

   pip3安裝,升級“databricks-connect = = 13.1 *”。#或X.Y.*to match your cluster version.

   請注意

   磚建議你添加“dot-asterisk”符號來指定databricks-connect = = X.Y. *而不是databricks-connect = X.Y,確保最新的安裝包。雖然這不是一個要求,它有助於確保您可以使用最新的支持集群功能。

步驟2:配置連接屬性

在本節中,您配置屬性之間建立一個連接磚連接和遠程數據磚的集群。這些屬性包括驗證磚與集群的設置。

開始對磚磚連接運行時13.1和更高版本,磚包括連接磚SDK為Python。這個SDK實現磚客戶端統一身份驗證標準,統一和一致的體係結構和編程方法來驗證。這種方法使得建立和自動化驗證磚更集中的和可預測的。它允許您配置數據磚身份驗證一次,然後使用該配置多個磚工具和sdk沒有進一步驗證配置更改。

1. 收集以下配置屬性。

   • 的磚工作區實例名。這是一樣的服務器主機名為您的集群價值;看到獲得一個集群的連接細節。

   • 集群的ID。你可以從URL獲取集群ID。看到集群URL和ID。

   • 其他必要的屬性磚驗證類型您想要使用。

2. 中配置的連接代碼。按照以下順序磚連接搜索配置屬性,直到找到他們。一旦它找到它們,它停止搜索剩餘的選項:

   1. 磚個人訪問令牌的身份驗證,直接連接屬性的配置,通過指定DatabricksSession類

      這個選項,適用於磚個人訪問令牌認證,指定工作區實例名,磚的個人訪問令牌,集群的ID。

      下麵的代碼示例演示如何初始化DatabricksSession類磚個人訪問令牌的身份驗證。

      磚不建議您直接在代碼中指定這些連接屬性。相反,磚建議通過環境變量或配置文件配置屬性,如後所述選項。下麵的代碼示例假設您提供一些實施建議retrieve_ *函數自己獲取必要的屬性從用戶或其他配置存儲,如AWS係統存儲管理器參數。

      #在builder.remote通過設置字段:從databricks.connect進口DatabricksSession火花=DatabricksSession。構建器。遠程(主機=f“https://{retrieve_workspace_instance_name()}”,令牌=retrieve_token(),cluster_id=retrieve_cluster_id())。getOrCreate()#,或者通過使用磚SDK的配置類:從databricks.connect進口DatabricksSession從databricks.sdk.core進口配置配置=配置(主機=f“https://{retrieve_workspace_instance_name()}”,令牌=retrieve_token(),cluster_id=retrieve_cluster_id())火花=DatabricksSession。構建器。sdkConfig(配置)。getOrCreate()#,或者指定一個配置概要文件和磚# cluster_id字段分別:從databricks.connect進口DatabricksSession從databricks.sdk.core進口配置配置=配置(配置文件=“<配置文件名稱>”,cluster_id=retrieve_cluster_id())火花=DatabricksSession。構建器。sdkConfig(配置)。getOrCreate()#,或通過設置在builder.remote引發連接連接字符串:從databricks.connect進口DatabricksSessionworkspace_instance_name=retrieve_workspace_instance_name()令牌=retrieve_token()cluster_id=retrieve_cluster_id()火花=DatabricksSession。構建器。遠程(f“sc: / /{workspace_instance_name}:443 /令牌={令牌};x-databricks-cluster-id ={cluster_id}”)。getOrCreate()

   2. 對於所有磚身份驗證類型,磚配置概要文件的名稱,指定使用概要文件()

      這個選項,創建或確定一個磚配置概要文件包含字段cluster_id和任何其他字段是必需的磚驗證類型您想要使用。然後設置此配置概要文件的名稱配置類。

      請注意

      您可以使用身份驗證登錄命令的——configure-cluster選擇在磚CLI版本0.200.1以上automtically添加cluster_id領域一個新的或現有的配置概要文件。有關更多信息,運行命令磚身份驗證登錄- h。

      此外,您可以指定cluster_id分別從配置概要文件。而不是直接在代碼中指定集群ID,以下代碼示例假設您提供一些實施建議retrieve_cluster_id函數自己集群ID從用戶或其他配置存儲,如AWS係統存儲管理器參數。

      例如:

      #指定一個磚配置概要文件包含# cluster_id字段:從databricks.connect進口DatabricksSession火花=DatabricksSession。構建器。配置文件(“<配置文件名稱>”)。getOrCreate()

   3. 磚個人訪問令牌認證,SPARK_REMOTE環境變量

      這個選項,適用於磚個人訪問令牌認證,設置SPARK_REMOTE環境變量如下字符串,用適當的值替換占位符。

      sc:/ / <工作空間- - - - - -實例- - - - - -的名字>:443年/;令牌= <訪問- - - - - -令牌- - - - - -價值>;x- - - - - -磚- - - - - -集群- - - - - -id= <集群- - - - - -id>

      然後初始化DatabricksSession類如下:

      從databricks.connect進口DatabricksSession火花=DatabricksSession。構建器。getOrCreate()

      設置環境變量,看你的操作係統的文檔。

   4. 對於所有磚的身份驗證類型,DATABRICKS_CONFIG_PROFILE環境變量

      這個選項,創建或確定一個磚配置概要文件包含字段cluster_id和任何其他字段是必需的磚驗證類型您想要使用。

      請注意

      您可以使用身份驗證登錄命令的——configure-cluster選擇在磚CLI版本0.200.1以上automtically添加cluster_id領域一個新的或現有的配置概要文件。有關更多信息,運行命令磚身份驗證登錄- h。

      設置DATABRICKS_CONFIG_PROFILE環境變量來此配置概要文件的名稱。然後初始化DatabricksSession類如下:

      從databricks.connect進口DatabricksSession火花=DatabricksSession。構建器。getOrCreate()

      設置環境變量,看你的操作係統的文檔。

   5. 對於所有磚身份驗證類型,一個環境變量為每個連接屬性

      這個選項設置DATABRICKS_CLUSTER_ID環境變量和其他必要的環境變量磚驗證類型您想要使用。然後初始化DatabricksSession類如下:

      從databricks.connect進口DatabricksSession火花=DatabricksSession。構建器。getOrCreate()

      設置環境變量,看你的操作係統的文檔。

   6. 對於所有磚身份驗證類型,磚配置概要文件命名默認的

      這個選項,創建或確定一個磚配置概要文件包含字段cluster_id和任何其他字段是必需的磚驗證類型您想要使用。命名這個配置概要文件默認的。

      請注意

      您可以使用身份驗證登錄命令的——configure-cluster選擇在磚CLI版本0.200.1以上automtically添加cluster_id場的默認的配置概要文件。有關更多信息,運行命令磚身份驗證登錄- h。

      然後初始化DatabricksSession類如下:

      從databricks.connect進口DatabricksSession火花=DatabricksSession。構建器。getOrCreate()

3. 如果你選擇使用磚個人訪問令牌認證包括身份驗證,您可以使用pyspark實用程序來測試連接磚集群如下。

   • 與您的虛擬環境仍然激活,運行以下命令:

     如果你設置SPARK_REMOTE環境變量,運行以下命令:

     pyspark

     如果你沒有設置SPARK_REMOTE環境變量,運行以下命令:

     pyspark——遠程sc: / / < workspace-instance-name >: 443 /;令牌= < access-token-value >; x-databricks-cluster-id = < cluster-id >”

   • 火花殼出現,例如:

     Python 3.10……(叮當聲……]on darwin Type "help", "copyright", "credits" or "license" for more information. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 13.0 /_/ Using Python version 3.10 ... Client connected to the Spark Connect server at sc://...:.../;token=...;x-databricks-cluster-id=... SparkSession available as 'spark'. >>>

   • 在> > >提示,運行一個簡單的PySpark命令,如spark.range(10),告訴()。如果沒有錯誤,你已經成功連接。

   • 如果您已經成功連接,阻止引發殼,出版社Ctrl+d或Ctrl+z或運行該命令辭職()或退出()。

與Python JupyterLab

使用磚聯係JupyterLab和Python,遵循這些指令。

1. 與您的Python安裝JupyterLab,虛擬環境激活,從你的終端或命令提示符運行以下命令:

   pip3安裝jupyterlab

2. 開始在您的web瀏覽器中JupyterLab,運行以下命令從你激活Python虛擬環境:

   jupyter實驗室

   如果JupyterLab不出現在你的web瀏覽器,複製開頭的URL本地主機或127.0.0.1從你的虛擬環境,並輸入您的web瀏覽器的地址欄。

3. 創建一個新的筆記本:在JupyterLab,點擊File > New >筆記本在主菜單中,選擇Python 3 (ipykernel)並點擊選擇。

4. 在筆記本的第一個細胞中,輸入的示例代碼或您自己的代碼。如果您使用您自己的代碼,至少你必須初始化DatabricksSession所示的示例代碼。

5. 筆記本,點擊Run >運行所有細胞。

6. 調試筆記本,點擊錯誤(啟用調試器旁邊)圖標Python 3 (ipykernel)在筆記本的工具欄。設置一個或多個斷點,然後單擊Run >運行所有細胞。

7. 關閉JupyterLab,點擊文件>關閉。如果JupyterLab進程仍在運行在你的終端或命令提示符下,停止這一過程按Ctrl+c然後進入y來確認。

更具體的調試說明,請參閱調試器。

經典與Python Jupyter筆記本

使用磚聯係經典Jupyter筆記本和Python,遵循這些指令。

1. 與您的Python安裝經典Jupyter筆記本,虛擬環境激活,從你的終端或命令提示符運行以下命令:

   pip3安裝筆記本

2. 開始經典Jupyter筆記本在您的web瀏覽器中運行以下命令從你激活Python虛擬環境:

   jupyter筆記本

   如果經典Jupyter筆記本沒有出現在您的web瀏覽器,複製開頭的URL本地主機或127.0.0.1從你的虛擬環境,並輸入您的web瀏覽器的地址欄。

3. 創建一個新的筆記本:在經典Jupyter筆記本文件選項卡上,單擊新的Python 3 > (ipykernel)。

4. 在筆記本的第一個細胞中,輸入的示例代碼或您自己的代碼。如果您使用您自己的代碼,至少你必須初始化DatabricksSession所示的示例代碼。

5. 筆記本,點擊細胞>運行所有。

6. 調試筆記本,添加以下代碼行一開始你的筆記本:

   從IPython.core.debugger進口set_trace

   然後調用set_trace ()進入調試語句筆記本執行。

7. 關閉經典Jupyter筆記本,點擊文件>關閉和停止。如果經典Jupyter筆記本進程仍在運行在你的終端或命令提示符下,停止這一過程按Ctrl+c然後進入y來確認。

Visual Studio和Python代碼

使用磚與Visual Studio和Python代碼,遵循這些指示。

1. 啟動Visual Studio代碼。

2. 打開文件夾,其中包含您的Python虛擬環境(文件>打開文件夾)。

3. 在Visual Studio代碼終端(視圖>終端),激活虛擬環境。

4. 設置當前Python解釋器是一個引用從虛擬環境:

   1. 在命令麵板(視圖>命令麵板),類型Python:選擇翻譯,然後按輸入。

   2. 選擇Python解釋器的路徑引用從虛擬環境。

5. 添加到文件夾Python代碼(. py)文件,其中包含的示例代碼或您自己的代碼。如果您使用您自己的代碼,至少你必須初始化DatabricksSession所示的示例代碼。

6. 運行代碼:

   1. 與Python代碼文件打開,設置任何斷點暫停跑步時,你想讓你的代碼。

   2. 單擊運行和調試欄上的圖標,或點擊視圖>運行在主菜單。

   3. 在運行和調試視圖中,單擊運行和調試按鈕。

   4. 按照屏幕上的指示開始運行和調試代碼。

更具體的運行和調試的指導,請參閱配置和運行調試器和Python調試和代碼。

與Python PyCharm

使用磚聯係PyCharm和Python,遵循這些指令。

1. PyCharm開始。

2. 創建一個項目:點擊文件>新建項目。

3. 為位置點擊文件夾圖標,然後選擇您的Python虛擬環境之路。

4. 選擇先前配置的翻譯。

5. 為翻譯,單擊省略號。

6. 點擊係統翻譯。

7. 為翻譯,單擊省略號,選擇Python解釋器的完整路徑引用從虛擬環境。然後單擊好吧。

8. 點擊好吧一次。

9. 點擊創建。

10. 點擊創建從現有來源。

11. 添加到項目中一個Python代碼(. py)文件,其中包含的示例代碼或您自己的代碼。如果您使用您自己的代碼,至少你必須初始化DatabricksSession所示的示例代碼。

12. 與Python代碼文件打開,設置任何斷點暫停跑步時,你想讓你的代碼。

13. 點擊>跑或Run > Debug。

14. 按照屏幕上的指令開始運行或調試代碼。

更具體的運行和調試的指導,請參閱運行沒有任何以前的配置和調試。

Eclipse與PyDev中

使用磚和連接Eclipse與PyDev中遵循這些指令。

1. 啟動Eclipse。

2. 創建一個項目:點擊File > New > > PyDev中> PyDev中項目,然後單擊下一個。

3. 指定一個項目名稱。

4. 為項目內容Python的虛擬環境,指定的路徑。

5. 點擊就像之前請配置一個解釋器。

6. 點擊手動配置。

7. 點擊新的python / pypy exe >瀏覽。

8. 瀏覽並選擇選擇Python解釋器的完整路徑引用於虛擬環境中,然後單擊開放。

9. 在選擇翻譯對話框中,單擊好吧。

10. 在選擇需要的對話框中,單擊好吧。

11. 在首選項對話框中,單擊應用並關閉。

12. 在PyDev中項目對話框中,單擊完成。

13. 點擊開放的視角。

14. 添加到項目中一個Python代碼(. py)文件,其中包含的示例代碼或您自己的代碼。如果您使用您自己的代碼,至少你必須初始化DatabricksSession所示的示例代碼。

15. 與Python代碼文件打開,設置任何斷點暫停跑步時,你想讓你的代碼。

16. 點擊>跑或Run > Debug。

更具體的運行和調試的指導,請參閱運行一個程序。

與Python火花殼

使用磚與火花殼牌和Python,遵循這些指示。

1. 開始引發殼連接運行集群,運行以下命令之一從你激活Python虛擬環境:

   如果你設置SPARK_REMOTE環境變量,運行以下命令:

   pyspark

   如果你沒有設置SPARK_REMOTE環境變量,運行以下命令:

   pyspark——遠程sc: / / < workspace-instance-name >: 443 /;令牌= < access-token-value >; x-databricks-cluster-id = < cluster-id >”

   火花殼出現,例如:

   Python 3.10……(叮當聲……]on darwin Type "help", "copyright", "credits" or "license" for more information. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 13.x.dev0 /_/ Using Python version 3.10 ... Client connected to the Spark Connect server at sc://...:.../;token=...;x-databricks-cluster-id=... SparkSession available as 'spark'. >>>

2. 指交互式分析引發殼信息如何使用火花與Python shell集群上運行命令。

   使用內置的火花變量來表示SparkSession在你運行集群,例如:

   > > > df = spark.read.table (samples.nyctaxi.trips) > > > df.show (5) + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - + | tpep_pickup_datetime | tpep_dropoff_datetime | trip_distance | fare_amount | pickup_zip | dropoff_zip | + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - + | 2016-02-14 16:52:13 | 2016-02-14 17:16:04 | 4.94 | 19.0 | 10282 | 10171 | 2016-02-04 | 18:44:19 | 2016-02-04 18:46:00 | 0.28 | 3.5 | 10110 | 10110 | 2016-02-17 | 17:13:57 | 2016-02-17 17:17:55 | 0.7 | 5.0 | 10103 | 10023 | 2016-02-18 | 10:36:07 | 2016-02-18 10:41:45 | 0.8 | 6.0 | 10022 | 10017 | 2016-02-22 | 14:14:41 | 2016-02-22 14:31:52 | 4.51 | 17.0 | 10110 | 10282 | + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - +隻顯示前5行

3. 停止引發殼,出版社Ctrl+d或Ctrl+z或運行該命令辭職()或退出()。

錯誤:StatusCode。StatusCode不可用。未知,DNS解析失敗,或接收http2頭狀態500

問題:當你試圖運行代碼與數據磚連接,你得到一個錯誤消息,其中包含字符串等StatusCode.UNAVAILABLE,StatusCode.UNKNOWN,DNS決議失敗的,或收到了http2頭與狀態:500年。

可能的原因:磚連接不能達到您的集群。

推薦解決方案:

• 檢查以確保您的工作區實例名是正確的。如果你使用環境變量,確保相關的環境變量和正確的本地開發機器上可用。

• 檢查以確保您的集群ID是正確的。如果你使用環境變量,確保相關的環境變量和正確的本地開發機器上可用。

• 檢查以確保您的集群具有正確的自定義集群與磚連接兼容的版本。

Python版本不匹配

檢查您使用的Python版本當地至少有相同的小版本版本在集群上(例如,3.10.11與3.10.10是好的,3.10與3.9不是)。

如果你有多個Python版本安裝在本地,確保磚使用正確的連接是通過設置PYSPARK_PYTHON環境變量(例如,PYSPARK_PYTHON = python3)。

衝突PySpark安裝

的databricks-connect包與PySpark衝突。安裝兩個初始化時將導致錯誤引發上下文在Python中。這可以體現在幾個方麵,包括“流破壞”或“找不到”的錯誤。如果你有PySpark安裝到您的Python環境,確保安裝databricks-connect之前卸載。卸載PySpark之後,一定要完全重新安裝磚連接的包:

pip3卸載pyspark pip3卸載databricks-connect pip3安裝,升級“databricks-connect = = 13.1 *”。#或X.Y.*to match your specific cluster version.

衝突或失蹤路徑二進製文件的條目

可以配置路徑,這樣的命令spark-shell將運行其他之前安裝的二進製代替磚提供的一個連接。你應該確保優先考慮磚連接的二進製文件,或刪除之前安裝的。

如果你不能運行命令spark-shell,也有可能你的路徑並不是自動建立的pip3安裝,你將需要添加安裝本手動dir到您的路徑。可以使用磚與ide,即使這不是設置。

文件名、目錄名或卷標在Windows上語法是不正確的

如果您使用的是磚連接在Windows上看:

文件名、目錄名或卷標語法是不正確的。

磚連接被安裝到一個目錄空間在你的路徑。您可以解決通過安裝到一個目錄路徑沒有空間,使用或配置路徑短名稱形式。

PySpark DataFrame API的限製

• 的SparkContext類及其方法是不可用的。

• 創建DataFrames大於128 MB的本地數據不支持,就會失敗。

• 彈性分布式數據集不支持(抽樣)和數據集。隻有DataFrames支持。

磚與磚的連接限製

• 查詢,不支持持續時間超過3600秒,就會失敗。

• 同步本地開發環境不支持與遠程集群。

• 確保你使用的Python版本和任何Python包在你的本地開發環境匹配他們的等價物,集群上安裝盡可能幫助確保代碼相容性和有助於減少意外的運行時錯誤。

• 隻支持Python。不支持R, Scala和Java。

• 不支持分布式訓練。

• MLflow支持,但不是模型推理mlflow.pyfunc.spark_udf(火花,…)。你可以在本地加載模型mlflow.pyfunc.load_model(<模型>),或者你可以把它作為一個定製的熊貓UDF。

• 你不能改變Log4j日誌級別SparkContext。

• 馬賽克不支持。

磚集群的局限性

• 磚工作區用戶與一個訪問令牌由磚連接必須使用可以連接到權限或更高目標集群。

• 創建表表作為選擇…SQL命令並不總是工作。相反,使用spark.sql(“選擇……”).write.saveAsTable(“表”)。

• 以下磚公用事業:

  • 憑證

  • 圖書館

  • 筆記本的工作流

  • 小部件

• AWS膠目錄