我遇到同樣的問題。我也使用磚10.4.12連接。我們的模型在生產管線做得很好,因為他們是使用磚UI,而不是databricks-connect。然而,在我們的測試中CI管道他們跑在碼頭工人使用databricks-connect容器(使用Concourse-CI)。代碼是一樣的。當我試著我的本地機器上運行相同的代碼手動連接到我們的集群通過databricks-connect特洛伊這裏我遇到同樣的問題。
事實上,我試著運行一個非常小的隨機森林分類器和我仍然遇到同樣的問題。以下是我使用的代碼:
進口numpy pyspark.ml np大熊貓作為pd導入。分類從pyspark.ml進口RandomForestClassifier。從pyspark.sql進口VectorAssembler特性。會話導入SparkSession火花= SparkSession.builder.getOrCreate()數據=火花。createDataFRame (pd。DataFrame ({“feature_a”: np.random.random (100),“feature_b”: np.random.random (100),“feature_c”: np.random.random(100),“標簽”:np.random。選擇([0,1],100)})vector_assembler = VectorAssembler (inputCols = [f”feature_ {n}”為n (“a”、“b”、“c”), outputCol =“特性”)parsed_data = (vector_assembler .transform(數據).drop (* (f”feature_ {n}”為n (“a”、“b”、“c”)))模型= RandomForestClassifier () model.fit (parsed_data) #錯誤扔在這裏,特洛伊的非常相似。
我附上我的錯誤輸出。
