如何使用磚和宜必思火花嗎

[ccbeloy]

宜必思現在包括pyspark後端。然而使用databricks-connect似乎沒有處理宜必思。這是示例代碼拋出一個錯誤。

從磚。連接導入DatabricksSession

從databricks.sdk。核心導入配置

配置=配置(profile = dev)

火花= DatabricksSession.builder.sdkConfig(配置).getOrCreate ()

df = spark.read.parquet (“/ somefile.parquet”)

df.createOrReplaceTempView (“sometable”)

進口宜必思

從宜必思進口_

ibis_con = ibis.pyspark.connect(火花)

以上拋出一個錯誤:

Python39 \網站\ pyspark \ sql \ \會話連接。在sparkContext py”, 532行

提高NotImplementedError (“sparkContext()還沒有實現。”)

NotImplementedError: sparkContext()還沒有實現。

[jose_gonzalez]

你用的哪個版本的databricks-connect ?DBR版本?你的筆記本嗎?

[ccbeloy]

名稱:databricks-connect

版本:13.1.0

磚的運行時版本的

13.1(包括Apache火花3.4.0,Scala 2.12)

不,我沒有嚐試過的筆記本,但是能夠成功地使用databrick-connect本地python env(上;連接到遠程集群從dbfs和閱讀鋪文件)。

謝謝。

[Vidula_Khanna]

嗨@Calvin Beloy

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[ccbeloy]

嗨,肯納先生,

沒有提供解決方案。可以升級你的技術團隊為一個合適的解決方案嗎?

謝謝,

卡爾文