自然語言處理

從sparknlp.base進口DocumentAssembler從sparknlp.annotator進口SentenceDetectorDLModel,MarianTransformer從pyspark.ml進口管道document_assembler=DocumentAssembler()。setInputCol(“文本”)。setOutputCol(“文檔”)sentence_detector=SentenceDetectorDLModel。pretrained(“sentence_detector_dl”,“xx”)\。setInputCols(“文檔”)。setOutputCol(“句子”)marian_transformer=MarianTransformer。pretrained()\。setInputCols(“句子”)。setOutputCol(“翻譯”)管道=管道()。setStages([document_assembler,sentence_detector,marian_transformer])數據=火花。createDataFrame([[“你可以使用火花NLP翻譯文本。”+\“這個例子管道翻譯英語,法語”]])。toDF(“文本”)#創建一個管道模型,可以跨多個數據幀被重用模型=管道。適合(數據)#你可以使用模型在任何一個“文本”列的數據幀結果=模型。變換(數據)顯示(結果。選擇(“文本”,“translation.result”))