宜必思現在包括pyspark後端。然而使用databricks-connect似乎沒有處理宜必思。這是示例代碼拋出一個錯誤。
從磚。連接導入DatabricksSession
從databricks.sdk。核心導入配置
配置=配置(profile = dev)
火花= DatabricksSession.builder.sdkConfig(配置).getOrCreate ()
df = spark.read.parquet (“/ somefile.parquet”)
df.createOrReplaceTempView (“sometable”)
進口宜必思
從宜必思進口_
ibis_con = ibis.pyspark.connect(火花)
以上拋出一個錯誤:
Python39 \網站\ pyspark \ sql \ \會話連接。在sparkContext py”, 532行
提高NotImplementedError (“sparkContext()還沒有實現。”)
NotImplementedError: sparkContext()還沒有實現。