NoSuchMethodError: org.apache.spark.sql.catalyst.json。CreateJacksonParser磚雲上(但不是直接在火花)

[daschl]

你好,

我為他工作他火花連接器和注意到一些奇怪的我沒能弄清真相。

對於查詢DataFrames我們使用數據源v2 API委托org.apache.spark.sql.catalyst.json JSON解析。CreateJacksonParser——(https://github.com/couchbase/couchbase-spark-connector/blob/master/src/main/scala/com/couchbase/spark/query/QueryPartitionReader.scala L56) . .這一切工作正常,在當地的IDE設置或當作業發送到當地引發分布式安裝。

但是當我運行它在磚的筆記本,我得到:

工作階段失敗而終止。引起的:NoSuchMethodError: org.apache.spark.sql.catalyst.json.CreateJacksonParser .string美元(Lcom / fasterxml /傑克遜/核心/ JsonFactory; Ljava / lang / String;) Lcom / fasterxml /傑克遜/核心/ JsonParser;在org.apache.spark.sql.CouchbaseJsonUtils。美元anonfun createParser 1美元(CouchbaseJsonUtils.scala: 41) org.apache.spark.sql.catalyst.json.JacksonParser anonfun解析1美元美元。(JacksonParser.scala: 490)美元org.apache.spark.util.Utils .tryWithResource (Utils.scala: 2952) org.apache.spark.sql.catalyst.json.JacksonParser.parse (JacksonParser.scala: 490) com.couchbase.spark.query.QueryPartitionReader anonfun行2美元美元。(QueryPartitionReader.scala: 54) scala.collection.TraversableLike。anonfun flatMap美元1美元(TraversableLike.scala: 293) scala.collection.mutable.ResizableArray.foreach (ResizableArray.scala: 62) scala.collection.mutable.ResizableArray.foreach美元(ResizableArray.scala: 55) scala.collection.mutable.ArrayBuffer.foreach (ArrayBuffer.scala: 49) scala.collection.TraversableLike.flatMap .... (TraversableLike.scala: 293)java.lang.Thread.run (Thread.java: 748)

知道為什麼造成的:NoSuchMethodError: org.apache.spark.sql.catalyst.json.CreateJacksonParser .string美元(Lcom / fasterxml /傑克遜/核心/ JsonFactory; Ljava / lang / String;) Lcom / fasterxml /傑克遜/核心/ JsonParser;在這個環境中是不可用的?

謝謝,

邁克爾

[Kaniz]

你好@daschl!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[daschl]

@Kaniz Fatma謝謝你的回複。因為這個問題非常特定於實現和不相關的一般用法,它意義連接我的工程師熟悉環境和數據源v2 API的內部?也可以通過電子郵件或一個不同的頻道。

[Kaniz]

嗨@Michael Nitschinger,可以解釋整個問題本身。

這將是偉大的,如果我們可以在這裏解決它在公共平台,因為它可以幫助很多人。Beplay体育安卓版本

[daschl]

@Kaniz Fatma整個問題是在原文——如果有進一步說明需要我很樂意提供。