ClusteringEvaluator

類 pyspark.ml.evaluation。 ClusteringEvaluator ( *,predictionCol:str=“預測”,featuresCol:str=“特性”,metricName:ClusteringEvaluatorMetricType=“剪影”,distanceMeasure:str=“squaredEuclidean”,weightCol:可選(str]=沒有一個 )

聚類結果的評估者,預計兩個輸入列:預測和特性。度規使用平方歐氏距離計算輪廓測量。

驗證的輪廓是一個衡量集群內的一致性。範圍1 - 1,一個值接近1意味著分接近集群中其他分在同一個集群和遠離點其他的集群。

例子

> > >從pyspark.ml.linalg進口向量> > >featureAndPredictions=地圖(λx:(向量。密集的(x(0]),x(1]),…(((0.0,0.5),0.0),([0.5,0.0),0.0),([10.0,11.0),1.0),…([10.5,11.5),1.0),([1.0,1.0),0.0),([8.0,6.0),1.0)))> > >數據集=火花。createDataFrame(featureAndPredictions,(“特征”,“預測”])…> > >評估者=ClusteringEvaluator()> > >評估者。setPredictionCol(“預測”)ClusteringEvaluator……> > >評估者。評估(數據集)0.9079……> > >featureAndPredictionsWithWeight=地圖(λx:(向量。密集的(x(0]),x(1),x(2]),…(((0.0,0.5),0.0,2.5),([0.5,0.0),0.0,2.5),([10.0,11.0),1.0,2.5),…([10.5,11.5),1.0,2.5),([1.0,1.0),0.0,2.5),([8.0,6.0),1.0,2.5)))> > >數據集=火花。createDataFrame(…featureAndPredictionsWithWeight,(“特征”,“預測”,“重量”])> > >評估者=ClusteringEvaluator()> > >評估者。setPredictionCol(“預測”)ClusteringEvaluator……> > >評估者。setWeightCol(“重量”)ClusteringEvaluator……> > >評估者。評估(數據集)0.9079……> > >ce_path=temp_path+“/ ce”> > >評估者。保存(ce_path)> > >evaluator2=ClusteringEvaluator。負載(ce_path)> > >str(evaluator2。getPredictionCol())“預測”

方法

清晰的(參數)	清除參數映射的參數是否被顯式地設置。
複製((額外的))	創建這個實例的副本具有相同uid和一些額外的參數。
評估(數據集[params))	評估可選參數的輸出。
explainParam(參數)	解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。
explainParams()	返回文檔的所有參數選擇默認值和用戶提供的值。
extractParamMap((額外的))	提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。
getDistanceMeasure()	獲得的價值distanceMeasure
getFeaturesCol()	得到的價值featuresCol或其默認值。
getMetricName()	得到的價值metricName或其默認值。
getOrDefault(參數)	得到參數的值在用戶提供的參數映射或其默認值。
getParam(paramName)	通過它的名稱參數。
getPredictionCol()	得到的價值predictionCol或其默認值。
getWeightCol()	得到的價值weightCol或其默認值。
hasDefault(參數)	檢查是否一個參數有默認值。
hasParam(paramName)	測試這個實例包含一個參數是否與給定名稱(字符串)。
isDefined(參數)	檢查參數是否由用戶或顯式地設置一個默認值。
isLargerBetter()	指示是否返回的度量evaluate ()應該最大化(真的,默認情況下)或最小化(假)。
收取(參數)	檢查參數是否由用戶顯式地設置。
負載(路徑)	從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。
讀()	返回一個MLReader這個類的實例。
保存(路徑)	這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。
集(參數值)	設置一個參數嵌入參數映射。
setDistanceMeasure(值)	設置的值distanceMeasure。
setFeaturesCol(值)	設置的值featuresCol。
setMetricName(值)	設置的值metricName。
setparam(自我\ * (predictionCol,…))	設置參數聚類評估者。
setPredictionCol(值)	設置的值predictionCol。
setWeightCol(值)	設置的值weightCol。
寫()	返回一個MLWriter實例毫升實例。

屬性

distanceMeasure
featuresCol
metricName
參數個數	返回所有參數命令的名字。
predictionCol
weightCol

方法的文檔

清晰的 ( 參數:pyspark.ml.param.Param )→沒有

清除參數映射的參數是否被顯式地設置。

複製 ( 額外的:可選(ParamMap]=沒有一個 )→摩根大通

創建這個實例的副本具有相同uid和一些額外的參數。這個實現第一次調用參數。複製and then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.

參數

額外的 東西,可選

額外參數複製到新實例

返回

JavaParams

這個實例的副本

評估 ( 數據集:pyspark.sql.dataframe.DataFrame,參數個數:可選(ParamMap]=沒有一個 )→浮動

評估可選參數的輸出。

參數

數據集 pyspark.sql.DataFrame

一個數據集,其中包含標簽/觀察和預測

參數個數 東西,可選

一個可選的參數覆蓋嵌入參數的地圖

返回

浮動

度規

explainParam ( 參數:聯盟(str,pyspark.ml.param.Param] )→str

解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams ( )→str

返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap ( 額外的:可選(ParamMap]=沒有一個 )→ParamMap

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

參數

額外的 東西,可選

額外的參數值

返回

dict

合並後的參數映射

getDistanceMeasure ( )→ClusteringEvaluatorDistanceMeasureType

獲得的價值distanceMeasure

getFeaturesCol ( )→str

得到的價值featuresCol或其默認值。

getMetricName ( )→ClusteringEvaluatorMetricType

得到的價值metricName或其默認值。

getOrDefault ( 參數:聯盟(str,pyspark.ml.param.Param(T]] )→聯盟(任何,T]

得到參數的值在用戶提供的參數映射或其默認值。如果沒有設置提出了一個錯誤。

getParam ( paramName:str )→pyspark.ml.param.Param

通過它的名稱參數。

getPredictionCol ( )→str

得到的價值predictionCol或其默認值。

getWeightCol ( )→str

得到的價值weightCol或其默認值。

hasDefault ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查是否一個參數有默認值。

hasParam ( paramName:str )→bool

測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查參數是否由用戶或顯式地設置一個默認值。

isLargerBetter ( )→bool

指示是否返回的度量evaluate ()應該最大化(真的,默認情況下)或最小化(假)。給定的評估者可以支持多個指標可能最大化或最小化。

收取 ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查參數是否由用戶顯式地設置。

classmethod 負載 ( 路徑:str )→RL

從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。

classmethod 讀 ( )→pyspark.ml.util.JavaMLReader(RL]

返回一個MLReader這個類的實例。

保存 ( 路徑:str )→沒有

這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

集 ( 參數:pyspark.ml.param.Param,價值:任何 )→沒有

設置一個參數嵌入參數映射。

setDistanceMeasure ( 價值:ClusteringEvaluatorDistanceMeasureType )→ClusteringEvaluator

設置的值distanceMeasure。

setFeaturesCol ( 價值:str )→pyspark.ml.evaluation.ClusteringEvaluator

設置的值featuresCol。

setMetricName ( 價值:ClusteringEvaluatorMetricType )→ClusteringEvaluator

設置的值metricName。

setparam ( 自我,\ *,predictionCol = "預測",featuresCol = "特性",metricName = "輪廓",distanceMeasure = " squaredEuclidean ",weightCol =沒有 )

設置參數聚類評估者。

setPredictionCol ( 價值:str )→pyspark.ml.evaluation.ClusteringEvaluator

設置的值predictionCol。

setWeightCol ( 價值:str )→pyspark.ml.evaluation.ClusteringEvaluator

設置的值weightCol。

寫 ( )→pyspark.ml.util.JavaMLWriter

返回一個MLWriter實例毫升實例。

屬性的文檔

distanceMeasure :pyspark.ml.param.Param ClusteringEvaluatorDistanceMeasureType =參數(父母=‘定義’,name = ' distanceMeasure ', doc = "測量的距離。支持選擇:“squaredEuclidean”和“餘弦”。”)

featuresCol =參數(父母=‘定義’,name = ' featuresCol ', doc =功能列名稱。)

metricName :pyspark.ml.param.Param ClusteringEvaluatorMetricType =參數(父母=‘定義’,name = ' metricName ', doc =“指標在評價(輪廓)”)

參數個數

返回所有參數命令的名字。默認實現使用dir ()所有的屬性類型參數。

predictionCol =參數(父母=‘定義’,name = ' predictionCol ', doc =預測列名稱。)

weightCol =參數(父母=‘定義’,name = ' weightCol ', doc = '體重列名。如果這不是設置或空,我們對所有實例權重為1.0。”)

以前的

MultilabelClassificationEvaluator

下一個

RankingEvaluator