StopWordsRemover

pyspark.ml.feature。 StopWordsRemover ( *,inputCol:可選(str]=沒有一個,outputCol:可選(str]=沒有一個,stopWords:可選(列表(str]]=沒有一個,caseSensitive:bool=,語言環境:可選(str]=沒有一個,inputCols:可選(列表(str]]=沒有一個,outputCols:可選(列表(str]]=沒有一個 )

變壓器的特性,過濾掉阻止語言輸入。3.0.0以來,StopWordsRemover可以過濾掉多個列通過設置inputCols參數。注意,當這兩個inputColinputCols參數設置,就會拋出一個異常。

筆記

null值從輸入數組保存,除非添加零stopWords顯式。

例子

> > >df=火花createDataFrame((((“一個”,“b”,“c”),),(“文本”])> > >=StopWordsRemover(stopWords=(“b”])> > >setInputCol(“文本”)StopWordsRemover……> > >setOutputCol(“單詞”)StopWordsRemover……> > >變換(df)()單詞= =(“一個”,“c”]真正的> > >stopWordsRemoverPath=temp_path+“/ stopwords-remover”> > >保存(stopWordsRemoverPath)> > >loadedRemover=StopWordsRemover負載(stopWordsRemoverPath)> > >loadedRemovergetStopWords()= =getStopWords()真正的> > >loadedRemovergetCaseSensitive()= =getCaseSensitive()真正的> > >loadedRemover變換(df)(1)= =變換(df)(1)真正的> > >df2=火花createDataFrame((((“一個”,“b”,“c”),(“一個”,“b”])),(“text1”,“text2”])> > >remover2=StopWordsRemover(stopWords=(“b”])> > >remover2setInputCols([“text1”,“text2”])setOutputCols([“words1”,“words2”])StopWordsRemover……> > >remover2變換(df2)顯示()+ - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - +| text1 | text2 | words1 | words2 |+ - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - +(a, b, c) | | | [a, b] [a、c] | |+ - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - +

方法

清晰的(參數)

清除參數映射的參數是否被顯式地設置。

複製((額外的))

創建這個實例的副本具有相同uid和一些額外的參數。

explainParam(參數)

解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams()

返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap((額外的))

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

getCaseSensitive()

獲得的價值caseSensitive或其默認值。

getInputCol()

得到的價值inputCol或其默認值。

getInputCols()

得到的價值inputCols或其默認值。

getLocale()

獲得的價值語言環境

getOrDefault(參數)

得到參數的值在用戶提供的參數映射或其默認值。

getOutputCol()

得到的價值outputCol或其默認值。

getOutputCols()

得到的價值outputCols或其默認值。

getParam(paramName)

通過它的名稱參數。

getStopWords()

獲得的價值stopWords或其默認值。

hasDefault(參數)

檢查是否一個參數有默認值。

hasParam(paramName)

測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined(參數)

檢查參數是否由用戶或顯式地設置一個默認值。

收取(參數)

檢查參數是否由用戶顯式地設置。

負載(路徑)

從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)

loadDefaultStopWords(語言)

加載默認停止給定語言的詞彙。

()

返回一個MLReader這個類的實例。

保存(路徑)

這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

(參數值)

設置一個參數嵌入參數映射。

setCaseSensitive(值)

設置的值caseSensitive

setInputCol(值)

設置的值inputCol

setInputCols(值)

設置的值inputCols

setLocale(值)

設置的值語言環境

setOutputCol(值)

設置的值outputCol

setOutputCols(值)

設置的值outputCols

setparam(自我,\ [,outputCol inputCol…))

為這個StopWordRemover設置參數。

setStopWords(值)

設置的值stopWords

變換(數據集[params))

與可選參數轉換的輸入數據集。

()

返回一個MLWriter實例毫升實例。

屬性

caseSensitive

inputCol

inputCols

語言環境

outputCol

outputCols

參數個數

返回所有參數命令的名字。

stopWords

方法的文檔

清晰的 ( 參數:pyspark.ml.param.Param )→沒有

清除參數映射的參數是否被顯式地設置。

複製 ( 額外的:可選(ParamMap]=沒有一個 )→摩根大通

創建這個實例的副本具有相同uid和一些額外的參數。這個實現第一次調用參數。複製和then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.

參數
額外的 東西,可選

額外參數複製到新實例

返回
JavaParams

這個實例的副本

explainParam ( 參數:聯盟(str,pyspark.ml.param.Param] )→str

解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams ( )→str

返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap ( 額外的:可選(ParamMap]=沒有一個 )→ParamMap

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

參數
額外的 東西,可選

額外的參數值

返回
dict

合並後的參數映射

getCaseSensitive ( )→bool

獲得的價值caseSensitive或其默認值。

getInputCol ( )→str

得到的價值inputCol或其默認值。

getInputCols ( )→列表(str]

得到的價值inputCols或其默認值。

getLocale ( )→str

獲得的價值語言環境

getOrDefault ( 參數:聯盟(str,pyspark.ml.param.Param(T]] )→聯盟(任何,T]

得到參數的值在用戶提供的參數映射或其默認值。如果沒有設置提出了一個錯誤。

getOutputCol ( )→str

得到的價值outputCol或其默認值。

getOutputCols ( )→列表(str]

得到的價值outputCols或其默認值。

getParam ( paramName:str )pyspark.ml.param.Param

通過它的名稱參數。

getStopWords ( )→列表(str]

獲得的價值stopWords或其默認值。

hasDefault ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查是否一個參數有默認值。

hasParam ( paramName:str )→bool

測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查參數是否由用戶或顯式地設置一個默認值。

收取 ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查參數是否由用戶顯式地設置。

classmethod 負載 ( 路徑:str )→RL

從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)

靜態 loadDefaultStopWords ( 語言:str )→列表(str]

加載默認停止給定語言的詞彙。支持語言:丹麥,荷蘭語,英語,芬蘭,法國,德國,匈牙利,意大利,挪威,葡萄牙語,俄語,西班牙語,瑞典語,土耳其語

classmethod ( )→pyspark.ml.util.JavaMLReader(RL]

返回一個MLReader這個類的實例。

保存 ( 路徑:str )→沒有

這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

( 參數:pyspark.ml.param.Param,價值:任何 )→沒有

設置一個參數嵌入參數映射。

setCaseSensitive ( 價值:bool )pyspark.ml.feature.StopWordsRemover

設置的值caseSensitive

setInputCol ( 價值:str )pyspark.ml.feature.StopWordsRemover

設置的值inputCol

setInputCols ( 價值:列表(str] )pyspark.ml.feature.StopWordsRemover

設置的值inputCols

setLocale ( 價值:str )pyspark.ml.feature.StopWordsRemover

設置的值語言環境

setOutputCol ( 價值:str )pyspark.ml.feature.StopWordsRemover

設置的值outputCol

setOutputCols ( 價值:列表(str] )pyspark.ml.feature.StopWordsRemover

設置的值outputCols

setparam ( 自我,\ *,inputCol =沒有,outputCol =沒有,stopWords =沒有,caseSensitive = false,語言環境=沒有,inputCols =沒有,outputCols =沒有 )

為這個StopWordRemover設置參數。

setStopWords ( 價值:列表(str] )pyspark.ml.feature.StopWordsRemover

設置的值stopWords

變換 ( 數據集:pyspark.sql.dataframe.DataFrame,參數個數:可選(ParamMap]=沒有一個 )→pyspark.sql.dataframe.DataFrame

與可選參數轉換的輸入數據集。

參數
數據集 pyspark.sql.DataFrame

輸入數據集

參數個數 東西,可選

一個可選的參數覆蓋嵌入參數的地圖。

返回
pyspark.sql.DataFrame

改變了數據集

( )→pyspark.ml.util.JavaMLWriter

返回一個MLWriter實例毫升實例。

屬性的文檔

caseSensitive :pyspark.ml.param.Param(保齡球) =參數(父母=‘定義’,name = ' caseSensitive ', doc =“是否區分大小寫比較在停止“)
inputCol =參數(父母=‘定義’,name = ' inputCol ', doc =輸入列名稱。)
inputCols =參數(父母=‘定義’,name = ' inputCols ', doc =輸入列名稱。)
語言環境 :pyspark.ml.param.Param (str) =參數(父母=‘定義’,name =“語言環境”,醫生=輸入的語言環境。時忽略大小寫敏感是正確的”)
outputCol =參數(父母=‘定義’,name = ' outputCol ', doc =輸出列名稱。)
outputCols =參數(父母=‘定義’,name = ' outputCols ', doc =輸出列名稱。)
參數個數

返回所有參數命令的名字。默認實現使用dir ()所有的屬性類型參數

stopWords :pyspark.ml.param.Param(列表(str)) =參數(父母=‘定義’,name = ' stopWords ', doc =過濾掉的單詞)