磚連接

步驟1:安裝客戶端

1. 卸載PySpark。這是必需的,因為databricks-connect包與PySpark衝突。有關詳細信息,請參見衝突PySpark安裝。

   皮普卸載pyspark

2. 安裝磚連接的客戶端。

   pip安裝- u“databricks-connect = = 7.3 *”。#或X.Y.*來match your cluster version.

   請注意

   總是指定databricks-connect = = X.Y. *而不是databricks-connect = X.Y,確保最新的安裝包。

步驟2:配置連接屬性

1. 收集以下配置屬性:

   • 磚工作空間的URL。

   • 磚個人訪問令牌。

   • 集群創建的ID。你可以從URL獲取集群ID。這裏的集群ID0304 - 201045 xxxxxxxx。

     

   • 磚連接的連接的端口。設置為15001年。

2. 配置連接。您可以使用CLI、SQL配置或環境變量。從最高到最低配置方法的優先級是:SQL配置鑰匙,CLI和環境變量。

   • CLI

     1. 運行databricks-connect。

        databricks-connect配置

        許可證將顯示:

        版權(2018年)磚,公司。這圖書館(的“軟件”)可能不是使用除了在連接與的被許可方的磚的使用平台服務依照達成協議Beplay体育安卓版本…

     2. 接受許可和供應配置值。為磚的主機和磚的令牌,輸入工作區URL和個人訪問令牌您在步驟1中指出。

        你接受以上協議嗎?[y / N] y設置新的配置值(離開輸入空接受默認):磚主機(目前沒有價值,必須從https://]: < databricks-url >磚令牌(沒有當前值):< databricks-token >集群ID(例如,0921 - 001415 jelly628)(沒有當前值):< cluster-id > Org ID (Azure-only,看到了嗎? o = orgId URL) [0]: < org-id >端口[15001]:<口>

   • SQL配置或環境變量。下麵的表顯示了SQL配置鍵和對應的環境變量配置屬性您在步驟1中指出。設置SQL配置鍵,使用sql(“集配置=值”)。例如:sql(“集spark.databricks.service.clusterId = 0304 - 201045 - abcdefgh”)。

     參數	SQL配置關鍵	環境變量名稱
     磚的主機	spark.databricks.service.address	DATABRICKS_ADDRESS
     磚的令牌	spark.databricks.service.token	DATABRICKS_API_TOKEN
     集群ID	spark.databricks.service.clusterId	DATABRICKS_CLUSTER_ID
     Org ID	spark.databricks.service.orgId	DATABRICKS_ORG_ID
     港口	spark.databricks.service.port	DATABRICKS_PORT

3. 測試連接數據磚。

   databricks-connect測試

   如果您配置的集群沒有運行,測試配置的集群將繼續運行,直到它開始autotermination時間。輸出應該類似:

   * PySpark是安裝在/…/ 3.5.6 / lib / python3.5 /網站/ PySpark *檢查java版本的java版本“1.8.0_152”java (TM)(構建1.8.0_152-b16) java SE運行時環境熱點(TM) 64位服務器虛擬機(構建25.152 b16轉椅,混合模式)*測試scala命令18/12/10 16:38:44 NativeCodeLoader警告:無法加載native-hadoop庫為您的平台……Beplay体育安卓版本使用builtin-java類,適用的使用引發的違約log4j配置文件:org/apache/spark/log4j-defaults。屬性默認日誌級別設置為“警告”。調整日誌級別使用sc.setLogLevel(中的)。對於SparkR,使用setLogLevel(中的)。18/12/10 16:38:50警告MetricsSystem:使用默認名稱SparkStatusTracker因為無論是spark.metrics.namespace還是spark.app來源。我d is set. 18/12/10 16:39:53 WARN SparkServiceRPCClient: Now tracking server state for 5abb7c7e-df8e-4290-947c-c9a38601024e, invalidating prev state 18/12/10 16:39:59 WARN SparkServiceRPCClient: Syncing 129 files (176036 bytes) took 3003 ms Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.0-SNAPSHOT /_/ Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152) Type in expressions to have them evaluated. Type :help for more information. scala> spark.range(100).reduce(_ + _) Spark context Web UI available at https://10.8.5.214:4040 Spark context available as 'sc' (master = local[*], app id = local-1544488730553). Spark session available as 'spark'. View job details at /?o=0#/setting/clusters//sparkUi View job details at ?o=0#/setting/clusters//sparkUi res0: Long = 4950 scala> :quit * Testing python command 18/12/10 16:40:16 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 18/12/10 16:40:17 WARN MetricsSystem: Using default name SparkStatusTracker for source because neither spark.metrics.namespace nor spark.app.id is set. 18/12/10 16:40:28 WARN SparkServiceRPCClient: Now tracking server state for 5abb7c7e-df8e-4290-947c-c9a38601024e, invalidating prev state View job details at /?o=0#/setting/clusters//sparkUi

Jupyter筆記本

磚連接配置腳本自動添加包到您的項目配置。開始一個Python內核中運行:

從pyspark.sql進口SparkSession火花=SparkSession。構建器。getOrCreate()

要啟用%的sql簡稱跑步和可視化的SQL查詢,使用以下代碼片段:

從IPython.core.magic進口line_magic,line_cell_magic,魔法,magics_class@magics_class類DatabricksConnectMagics(魔法):@line_cell_magicdefsql(自我,行,細胞=沒有一個):如果細胞和行:提高ValueError(細胞魔法”“線必須是空的,行)試一試:從autovizwidget.widget.utils進口display_dataframe除了ImportError:打印(“請運行“pip安裝autovizwidget”啟用可視化部件。”)display_dataframe=λx:x返回display_dataframe(自我。get_spark()。sql(細胞orgydF4y2Ba行)。toPandas())defget_spark(自我):user_ns=get_ipython()。user_ns如果“火花”在user_ns:返回user_ns(“火花”]其他的:從pyspark.sql進口SparkSessionuser_ns(“火花”]=SparkSession。構建器。getOrCreate()返回user_ns(“火花”]知識產權=get_ipython()知識產權。register_magics(DatabricksConnectMagics)

PyCharm

磚連接配置腳本自動添加包到您的項目配置。

SparkR和RStudio桌麵

1. 下載並解壓開源的火花到您的本地機器上。選擇相同的版本在你的磚集群(Hadoop 2.7)。

2. 運行databricks-connectget-jar-dir。這個命令返回一個路徑/usr/local/lib/python3.5/dist-packages / pyspark / jar。複製的文件路徑上麵一個目錄例如,JAR目錄文件路徑/usr/local/lib/python3.5/dist-packages / pyspark,這是SPARK_HOME目錄中。

3. 配置火花自由路徑和火花家裏通過將它們添加到你的R腳本。集< spark-lib-path >你打開的目錄開源火花包在步驟1中。集< spark-home-path >從步驟2磚連接目錄。

   #指向OSS包路徑,例如,/ / /…/ spark-2.4.0-bin-hadoop2.7道路圖書館(SparkR,lib.loc=.libPaths(c(file.path(“< spark-lib-path >”,“R”,“自由”),.libPaths())))#點磚PySpark連接安裝,例如,/ / /…/ PySpark路徑Sys.setenv(SPARK_HOME=“< spark-home-path >”)

4. 發起一個火花會話並開始運行SparkR命令。

   sparkR.session()df< -as.DataFrame(忠實的)頭(df)df1< -有斑紋的(df,函數(x){x},模式(df))收集(df1)

sparklyr和RStudio桌麵

IntelliJ (Scala或Java)

1. 運行databricks-connectget-jar-dir。

2. 的依賴關係指向的目錄返回的命令。去文件> >項目結構>模塊依賴項>“+”符號> jar或目錄。

   

   為了避免衝突,我們強烈建議刪除任何其他火花從類路徑中安裝。如果這是不可能的,確保jar添加在前麵的類路徑中。特別是,他們必須提前安裝其他版本的火花(否則你會使用其中一個其他火花版本和本地運行或扔一個ClassDefNotFoundError)。

3. 檢查在IntelliJ突破的設置選項。默認值是所有並將導致網絡超時如果你設置斷點調試。將其設置為線程為了避免停止網絡後台線程。

   

Eclipse

1. 運行databricks-connectget-jar-dir。

2. 點的外部jar配置目錄返回的命令。去圖書館項目菜單>屬性> Java構建路徑> >添加外部jar。

   

   為了避免衝突,我們強烈建議刪除任何其他火花從類路徑中安裝。如果這是不可能的,確保jar添加在前麵的類路徑中。特別是,他們必須提前安裝其他版本的火花(否則你會使用其中一個其他火花版本和本地運行或扔一個ClassDefNotFoundError)。

   

Visual Studio代碼

1. 驗證Python擴展安裝。

2. 打開命令麵板(命令+ Shift + P在macOS和Ctrl + Shift + P在Windows / Linux)。

3. 選擇一個Python解釋器。去代碼> Preferences >設置,並選擇python的設置。

4. 運行databricks-connectget-jar-dir。

5. 從命令返回的目錄添加到用戶設置JSONpython.venvPath。這應該被添加到Python配置。

6. 禁用短絨。單擊…在右邊編輯json設置。修改後的設置如下:

   

7. 如果與一個虛擬環境中運行,這是推薦的方式為Python開發在VS代碼中,在命令麵板類型選擇python翻譯並指向您的環境匹配集群的Python版本。

   

   例如,如果您的集群是Python 3.5,你的當地環境應該是Python 3.5。

   

SBT

使用SBT,您必須配置您的build.sbt文件鏈接對磚的連接罐而不是通常的火花庫依賴關係。你這樣做的unmanagedBase下麵的示例構建文件指令,假設一個Scala應用的com.example.Test主要對象:

名稱:= " hello world "版本:= " 1.0 " scalaVersion: = " 2.11.6 " / /這應該被設置為“返回的路徑databricks-connect get-jar-dir“unmanagedBase: = new java.io.File (“/ usr /地方/ lib / python2.7 / dist-packages pyspark / jars”) mainClass: =一些(“com.example.Test”)

使用依賴關係

通常你的主類或Python文件將有其他依賴jar文件和文件。您可以添加這樣的依賴jar文件和文件通過調用sparkContext.addJar (“path-to-the-jar”)orgydF4y2BasparkContext.addPyFile(文件路徑)。你也可以加入雞蛋和zip文件的文件addPyFile ()接口。每次你在IDE運行代碼,依賴jar文件和文件在集群上安裝。

從自由進口噴火從pyspark.sql進口SparkSession火花=SparkSession。構建器。getOrCreate()sc=火花。sparkContext# sc.setLogLevel(“信息”)打印(“測試簡單的計數”)打印(火花。範圍(One hundred.)。數())打印(“測試addPyFile隔離”)sc。addPyFile(“lib.py”)打印(sc。並行化(範圍(10))。地圖(λ我:噴火(2))。收集())類噴火(對象):def__init__(自我,x):自我。x=x

從pyspark.sql進口SparkSession從pyspark.sql.column進口_to_java_column,_to_seq,列# #在這個例子中,udf。jar包含編譯後的Java / Scala udf的:#包com.example##進口org.apache.spark.sql._#進口org.apache.spark.sql.expressions._#進口org.apache.spark.sql.functions.udf##{對象測試# val plusOne: UserDefinedFunction = udf((我:長)= > i + 1)#}火花=SparkSession。構建器\。配置(“spark.jars”,“/道路/ / udf.jar”)\。getOrCreate()sc=火花。sparkContextdefplus_one_udf(上校):f=sc。_jvm。com。例子。測試。plusOne()返回列(f。應用(_to_seq(sc,(上校),_to_java_column)))sc。_jsc。addJar(“/道路/ / udf.jar”)火花。範圍(One hundred.)。withColumn(“plusOne”,plus_one_udf(“id”))。顯示()

包com。例子進口org。apache。火花。sql。SparkSession情況下類噴火(x:字符串)對象測試{def主要(arg遊戲:數組(字符串):單位={瓦爾火花=SparkSession。構建器()…。getOrCreate();火花。sparkContext。setLogLevel(“信息”)println(“運行簡單的顯示查詢……”)火花。讀。格式(“鋪”)。負載(“/ tmp / x”)。顯示()println(“運行簡單的UDF查詢……”)火花。sparkContext。addJar(”。/目標/ scala - 2.11 / hello-world_2.11-1.0.jar”)火花。udf。注冊(“f”,(x:Int)= >x+1)火花。範圍(10)。selectExpr(“f (id)”)。顯示()println(“運行定製對象查詢……”)瓦爾obj=火花。sparkContext。並行化(Seq(噴火(“再見”),噴火(“嗨”)))。收集()println(obj。toSeq)}}

本地和遠程文件係統之間複製文件

您可以使用dbutils.fs您的客戶端和遠程文件係統之間複製文件。計劃文件:/指的是在客戶端本地文件係統。

從pyspark.dbutils進口DBUtilsdbutils=DBUtils(火花)dbutils。fs。cp(“文件:/ home / user / data.csv”,“dbfs: /上傳”)dbutils。fs。cp(“dbfs: / / results.csv輸出”,下載的文件:/ home / user / / ')

最大文件大小,可以轉移方式是250 MB。

啟用dbutils.secrets.get

由於安全限製,調用的能力dbutils.secrets.get默認情況下是禁用的。接觸磚支持您的工作區來啟用這個特性。

Python版本不匹配

檢查您使用的Python版本當地至少有相同的小版本版本在集群上(例如,3.5.1與3.5.2是好的,3.5與3.6不是)。

如果你有多個Python版本安裝在本地,確保磚使用正確的連接是通過設置PYSPARK_PYTHON環境變量(例如,PYSPARK_PYTHON = python3)。

服務器未啟用

確保集群火花服務器啟用了spark.databricks.service.server.enabled真正的。您應該看到下麵的線在司機日誌如果它是:

18/10/25 21:39:18信息SparkConfUtils美元:設置火花配置:spark.databricks.service.server。啟用- >真實……18/10/25 21:39:21信息SparkContext:加載火花服務RPC服務器18/10/25 21:39:21信息SparkServiceRPCServer:火花服務RPC服務器開始18/10/25 21:39:21信息服務器:jetty-9.3.20。v20170531 18/10/25 21:39:21信息AbstractConnector:開始ServerConnector@6a6c7f42 {HTTP / 1.1, (HTTP / 1.1)}{0.0.0.0:15001} 18/10/25 21:39:21信息服務器:@5879ms開始

衝突PySpark安裝

的databricks-connect包與PySpark衝突。安裝兩個初始化時將導致錯誤引發上下文在Python中。這可以體現在幾個方麵,包括“流破壞”或“找不到”的錯誤。如果你有PySpark安裝到您的Python環境,確保安裝databricks-connect之前卸載。卸載PySpark之後,一定要完全重新安裝磚連接的包:

pip卸載pyspark pip卸載databricks-connect pip安裝- u“databricks-connect = = 9.1 *”。#或X.Y.*來match your cluster version.

相互衝突的SPARK_HOME

如果您以前使用過火花機,IDE可以配置為使用一個其他版本的火花而不是磚連接的火花。這可以體現在幾個方麵,包括“流破壞”或“找不到”的錯誤。你可以看到哪個版本的火花被檢查的價值SPARK_HOME環境變量:

係統。出。println(係統。采用(“SPARK_HOME”));

進口操作係統打印(操作係統。環境(“SPARK_HOME”])

println(sys。env。得到(“SPARK_HOME”))

衝突或失蹤路徑二進製文件的條目

可以配置路徑,這樣的命令spark-shell將運行其他之前安裝的二進製代替磚提供的一個連接。這可能會導致databricks-connect測試失敗。你應該確保優先考慮磚連接的二進製文件,或刪除之前安裝的。

如果你不能運行命令spark-shell,也有可能你的路徑並不是自動建立的皮普安裝,你將需要添加安裝本手動dir到您的路徑。可以使用磚與ide,即使這不是設置。然而,databricks-connect測試命令將不能正常工作。

衝突的序列化設置在集群上

如果你看到“流損壞”運行時錯誤databricks-connect測試,這可能是由於不兼容的集群序列化配置。例如,設置spark.io.compression.codec配置會導致這個問題。為了解決這個問題,考慮從集群移除這些配置設置,或設置配置在磚連接的客戶端。

找不到winutils.exe在Windows上

如果您使用的是磚連接在Windows上看:

錯誤殼牌:失敗的來定位的winutils二進製在的hadoop二進製路徑java。io。IOException:可以不定位可執行的零\本\winutils。exe在的Hadoop二進製文件。

按照指示在Windows上配置Hadoop路徑。

文件名、目錄名或卷標在Windows上語法是不正確的

如果您使用的是磚連接在Windows上看:

的文件名,目錄的名字,orgydF4y2Ba體積標簽語法是不正確的。

Java或磚連接被安裝到一個目錄空間在你的路徑。您可以解決通過安裝到一個目錄路徑沒有空間,使用或配置路徑短名稱形式。