我們公司的集群上遇到以下錯誤。
py4j.security。公共com.johnsnowlabs.nlp.DocumentAssembler Py4JSecurityException:構造函數(以)不是白名單。
下麵的代碼(也就是從spark-nlp教程代碼頁)
df =火花。createDataFrame([(“是的,我能。是“)],["評論"])document_assembler = DocumentAssembler () \ .setInputCol(“評論”)\ .setOutputCol(“文檔”)sentence_detector = SentenceDetector () \ .setInputCols((“文檔”))\ .setOutputCol(“句子”)\ .setUseAbbreviations(真正的)記號賦予器=記號賦予器()\ .setInputCols(["句子"])\ .setOutputCol(“令牌”)抽梗機=抽梗機()\ .setInputCols([“令牌”])\ .setOutputCol(“莖”)標準化者=標準化者()\ .setInputCols(["遏製"])\ .setOutputCol(“規範化”)修整器=修整器()\ .setInputCols(["規範化"])\ .setOutputCols ([" ntokens "]) \ .setOutputAsArray (True) \ .setCleanAnnotations(真正的)nlp_pipeline =管道(階段= [document_assembler sentence_detector,記號賦予器、除梗器標準化者,修整器])nlp_model = nlp_pipeline.fit (df)處理= nlp_model.transform (df) .persist () processed.count () processed.show ()
當我嚐試添加火花配置
spark.databricks.pyspark。enablePy4JSecurity假
它說
spark.databricks.pyspark。enablePy4JSecurity是不允許在選擇訪問模式
我將感謝任何幫助。似乎別人在我的公司遇到了同樣的問題與其他包。
謝謝你！
