方法iterableAsScalaIterable Pydeequ不存在

[Jreco]

你好,

我使用磚和pydeequ構建QA一步結構化流。

我需要使用的分析程序之一是獨特性。

如果我試圖添加另一個喜歡完整性,正常工作,但如果y添加我得到一個錯誤的獨特性:

py4j。Py4JException:方法iterableAsScalaIterable([類以])並不存在

日誌:

Py4JError回溯(去年)最近調用<[命令- 1299007449178928]()>從pydeequ <模塊> 1。分析進口* 2 - - - - - > 3 analysisResult = AnalysisRunner(火花)\ 4 .onData (df) \ 5 .addAnalyzer(大小())\ / local_disk0 / .ephemeral_nfs / env / pythonenv - 3 - e8b052e - 7811 - 4908 - bcc3 - 79 a52e659d2d / lib / python3.8 /網站/ pydeequ /分析。py addAnalyzer(自我,分析儀)132”““133 analyzer._set_jvm (self._jvm)——> 134 _analyzer_jvm =分析儀。_analyzer_jvm 135 self._AnalysisRunBuilder.addAnalyzer (_analyzer_jvm) 136年返回自我/ local_disk0 / .ephemeral_nfs / env / pythonenv - 3 - e8b052e - 7811 - 4908 - bcc3 - 79 a52e659d2d / lib / python3.8 /網站/ pydeequ /分析。py _analyzer_jvm(自我)773”““774 self._deequAnalyzers返回。獨特性(- - > 775 to_scala_seq(自我。_jvm self.columns) self._jvm.scala.Option.apply (self.where) 776) 777 / local_disk0 / .ephemeral_nfs / env / pythonenv - 3 - e8b052e - 7811 - 4908 - bcc3 - 79 a52e659d2d / lib / python3.8 /網站/ pydeequ / scala_utils。py to_scala_seq (jvm, iterable) 77 Scala序列78”“”- - - > 79返回jvm.scala.collection.JavaConversions.iterableAsScalaIterable (iterable) .toSeq(80年)81 /磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j / java_gateway。py __call__(自我,* args) 1302 1303回答= self.gateway_client.send_command(命令)- > 1304 return_value = get_return_value(1305回答,自我。gateway_client,自我。target_id self.name) 1306 /磚/火花/ python / pyspark / sql /跑龍套。py在德科(*,* *千瓦)115年def德科(*,* *千瓦):116試:- - > 117返回f(*, * *千瓦)118 py4j.protocol除外。Py4JJavaError e: 119轉換= convert_exception (e.java_exception) /磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j /協議。py get_return_value(答案,gateway_client target_id,名字)328格式(target_id,“。”,name), value) 329 else: --> 330 raise Py4JError( 331 "An error occurred while calling {0}{1}{2}. Trace:\n{3}\n". 332 format(target_id, ".", name, value)) Py4JError: An error occurred while calling z:scala.collection.JavaConversions.iterableAsScalaIterable. Trace: py4j.Py4JException: Method iterableAsScalaIterable([class java.lang.String]) does not exist at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:341) at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:362) at py4j.Gateway.invoke(Gateway.java:289) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.GatewayConnection.run(GatewayConnection.java:251) at java.lang.Thread.run(Thread.java:748)

複製

我在主頁上使用提供的示例:

我用這個版本的:

磚:

知道為什麼會這樣嗎? ?

謝謝

[werners1 · Accepted solution]

我認為這是因為你沒有把圖書館集群。

當你使用一個筆記本,sparksession已經創建。

添加庫,你應該在集群上安裝它們(在計算選項卡中)使用遠東pypi / maven等等。

[Jreco]

謝謝你的回放@Werner Stinckens,我已經安裝的庫:

[werners1]

你能再試一次沒有創建一個sparksession嗎?

它也可以pydeequ配伍禁忌的,我從來沒有使用它。

但首先讓我們嚐試沒有sparksession部分。

[jose_gonzalez]

嗨@Jhonatan雷耶斯,

隻是檢查你是否還需要幫助在這個問題上嗎?做@Werner Stinckens的反應幫助嗎?如果是,請標明是最好的回應。