LinearRegression¶

類 pyspark.ml.regression。 LinearRegression ( *,featuresCol:str=“特性”,labelCol:str=“標簽”,predictionCol:str=“預測”,麥克斯特:int=One hundred.,regParam:浮動=0.0,elasticNetParam:浮動=0.0,托爾:浮動=1 e-06,fitIntercept:bool=真正的,標準化:bool=真正的,解算器:str=“汽車”,weightCol:可選(str]=沒有一個,aggregationDepth:int=2,損失:str=“squaredError”,ε:浮動=1.35,maxBlockSizeInMB:浮動=0.0 ) ¶

線性回歸。

學習的目標是最小化指定的損失函數,正規化。這支持兩種類型的損失:

squaredError (a.k.。一個平方損失)
胡貝爾(混合的平方誤差相對較小的錯誤和絕對誤差相對大的,和我們估計規模參數從訓練數據)

這支持多種類型的正則化:

沒有(又名普通最小二乘法)
L2(嶺回歸)
L1(套索)
L2 + L1(彈性網)

筆記

擬合與胡貝爾損失僅支持和L2正規化。

例子

           > > >從pyspark.ml.linalg進口向量> > >df=火花。createDataFrame([…(1.0,2.0,向量。密集的(1.0)),…(0.0,2.0,向量。稀疏的(1,[],[]))),(“標簽”,“重量”,“特征”])> > >lr=LinearRegression(regParam=0.0,解算器=“正常”,weightCol=“重量”)> > >lr。setMaxIter(5)LinearRegression……> > >lr。getMaxIter()5> > >lr。setRegParam(0.1)LinearRegression……> > >lr。getRegParam()0.1> > >lr。setRegParam(0.0)LinearRegression……> > >模型=lr。適合(df)> > >模型。setFeaturesCol(“特征”)LinearRegressionModel……> > >模型。setPredictionCol(“newPrediction”)LinearRegressionModel……> > >模型。getMaxIter()5> > >模型。getMaxBlockSizeInMB()0.0> > >電平=火花。createDataFrame(((向量。密集的(- - - - - -1.0),),(“特征”])> > >腹肌(模型。預測(電平。頭()。特性)- - - - - -(- - - - - -1.0))<0.001真正的> > >腹肌(模型。變換(電平)。頭()。newPrediction- - - - - -(- - - - - -1.0))<0.001真正的> > >腹肌(模型。係數(0]- - - - - -1.0)<0.001真正的> > >腹肌(模型。攔截- - - - - -0.0)<0.001真正的> > >test1=火花。createDataFrame(((向量。稀疏的(1,(0),(1.0),),(“特征”])> > >腹肌(模型。變換(test1)。頭()。newPrediction- - - - - -1.0)<0.001真正的> > >lr。setparam(featuresCol=“向量”)LinearRegression……> > >lr_path=temp_path+“/ lr”> > >lr。保存(lr_path)> > >lr2=LinearRegression。負載(lr_path)> > >lr2。getMaxIter()5> > >model_path=temp_path+“/ lr_model”> > >模型。保存(model_path)> > >model2=LinearRegressionModel。負載(model_path)> > >模型。係數(0]= =model2。係數(0]真正的> > >模型。攔截= =model2。攔截真正的> > >模型。變換(電平)。取(1)= =model2。變換(電平)。取(1)真正的> > >模型。numFeatures1> > >模型。寫()。格式(“pmml”)。保存(model_path+“_2”)
          

方法

`清晰的`(參數)	清除參數映射的參數是否被顯式地設置。
`複製`((額外的))	創建這個實例的副本具有相同uid和一些額外的參數。
`explainParam`(參數)	解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。
`explainParams`()	返回文檔的所有參數選擇默認值和用戶提供的值。
`extractParamMap`((額外的))	提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。
`適合`(數據集[params))	適合一個模型與可選參數的輸入數據集。
`fitMultiple`(paramMaps數據集)	適合一個模型為每個參數映射的輸入數據集paramMaps。
`getAggregationDepth`()	得到的價值aggregationDepth或其默認值。
`getElasticNetParam`()	得到的價值elasticNetParam或其默認值。
`getEpsilon`()	得到的值ε或其默認值。
`getFeaturesCol`()	得到的價值featuresCol或其默認值。
`getFitIntercept`()	得到的價值fitIntercept或其默認值。
`getLabelCol`()	得到的價值labelCol或其默認值。
`getLoss`()	獲得的價值損失或其默認值。
`getMaxBlockSizeInMB`()	得到的價值maxBlockSizeInMB或其默認值。
`getMaxIter`()	麥克斯特的價值或其默認值。
`getOrDefault`(參數)	得到參數的值在用戶提供的參數映射或其默認值。
`getParam`(paramName)	通過它的名稱參數。
`getPredictionCol`()	得到的價值predictionCol或其默認值。
`getRegParam`()	得到的價值regParam或其默認值。
`getSolver`()	得到解決的價值或其默認值。
`getStandardization`()	被標準化的價值或其默認值。
`getTol`()	被托爾的價值或其默認值。
`getWeightCol`()	得到的價值weightCol或其默認值。
`hasDefault`(參數)	檢查是否一個參數有默認值。
`hasParam`(paramName)	測試這個實例包含一個參數是否與給定名稱(字符串)。
`isDefined`(參數)	檢查參數是否由用戶或顯式地設置一個默認值。
`收取`(參數)	檢查參數是否由用戶顯式地設置。
`負載`(路徑)	從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。
`讀`()	返回一個MLReader這個類的實例。
`保存`(路徑)	這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。
`集`(參數值)	設置一個參數嵌入參數映射。
`setAggregationDepth`(值)	設置的值`aggregationDepth`。
`setElasticNetParam`(值)	設置的值`elasticNetParam`。
`setEpsilon`(值)	設置的值`ε`。
`setFeaturesCol`(值)	設置的值`featuresCol`。
`setFitIntercept`(值)	設置的值`fitIntercept`。
`setLabelCol`(值)	設置的值`labelCol`。
`setLoss`(值)	設置的值`損失`。
`setMaxBlockSizeInMB`(值)	設置的值`maxBlockSizeInMB`。
`setMaxIter`(值)	設置的值`麥克斯特`。
`setparam`(自我,\ [,labelCol featuresCol…))	設置參數的線性回歸。
`setPredictionCol`(值)	設置的值`predictionCol`。
`setRegParam`(值)	設置的值`regParam`。
`setSolver`(值)	設置的值`解算器`。
`setStandardization`(值)	設置的值`標準化`。
`setTol`(值)	設置的值`托爾`。
`setWeightCol`(值)	設置的值`weightCol`。
`寫`()	返回一個MLWriter實例毫升實例。

屬性

`aggregationDepth`
`elasticNetParam`
`ε`
`featuresCol`
`fitIntercept`
`labelCol`
`損失`
`maxBlockSizeInMB`
`麥克斯特`
`參數個數`	返回所有參數命令的名字。
`predictionCol`
`regParam`
`解算器`
`標準化`
`托爾`
`weightCol`

方法的文檔

清晰的 ( 參數:pyspark.ml.param.Param )→沒有¶: 清除參數映射的參數是否被顯式地設置。

複製 ( 額外的:可選(ParamMap]=沒有一個 )→摩根大通¶

創建這個實例的副本具有相同uid和一些額外的參數。這個實現第一次調用參數。複製and then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.

參數

額外的 東西,可選: 額外參數複製到新實例

返回

JavaParams: 這個實例的副本

explainParam ( 參數:聯盟(str,pyspark.ml.param.Param] )→str¶: 解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams ( )→str¶: 返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap ( 額外的:可選(ParamMap]=沒有一個 )→ParamMap¶

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

參數

額外的 東西,可選: 額外的參數值

返回

dict: 合並後的參數映射

適合 ( 數據集:pyspark.sql.dataframe.DataFrame,參數個數:聯盟[ParamMap、列表(ParamMap)元組(ParamMap),沒有一個)=沒有一個 )→聯盟(米,列表(米] ] ¶

適合一個模型與可選參數的輸入數據集。

參數

數據集 pyspark.sql.DataFrame: 輸入數據集。
參數個數 dict或列表或元組,可選的: 一個可選的參數覆蓋嵌入參數的地圖。如果列表/元組的參數映射,這適用於每一個參數並返回一個列表的模型映射。

返回

變壓器或者一個列表變壓器: 擬合模型(年代)

fitMultiple ( 數據集:pyspark.sql.dataframe.DataFrame,paramMaps:序列(ParamMap] )→迭代器(元組(int,米] ] ¶

適合一個模型為每個參數映射的輸入數據集paramMaps。

參數

數據集 pyspark.sql.DataFrame: 輸入數據集。
paramMaps collections.abc.Sequence: 一係列的參數映射。

返回

_FitMultipleIterator: 一個線程安全的iterable包含為每個參數映射模型。每次調用下一個(modelIterator)將返回(指數模型)模型是適合使用在哪裏paramMaps(指數)。指數值可能不是連續的。

getAggregationDepth ( )→int¶: 得到的價值aggregationDepth或其默認值。

getElasticNetParam ( )→浮動¶: 得到的價值elasticNetParam或其默認值。

getEpsilon ( )→浮動¶: 得到的值ε或其默認值。

getFeaturesCol ( )→str¶: 得到的價值featuresCol或其默認值。

getFitIntercept ( )→bool¶: 得到的價值fitIntercept或其默認值。

getLabelCol ( )→str¶: 得到的價值labelCol或其默認值。

getLoss ( )→str¶: 獲得的價值損失或其默認值。

getMaxBlockSizeInMB ( )→浮動¶: 得到的價值maxBlockSizeInMB或其默認值。

getMaxIter ( )→int¶: 麥克斯特的價值或其默認值。

getOrDefault ( 參數:聯盟(str,pyspark.ml.param.Param(T]] )→聯盟(任何,T] ¶: 得到參數的值在用戶提供的參數映射或其默認值。如果沒有設置提出了一個錯誤。

getParam ( paramName:str )→pyspark.ml.param.Param ¶: 通過它的名稱參數。

getPredictionCol ( )→str¶: 得到的價值predictionCol或其默認值。

getRegParam ( )→浮動¶: 得到的價值regParam或其默認值。

getSolver ( )→str¶: 得到解決的價值或其默認值。

getStandardization ( )→bool¶: 被標準化的價值或其默認值。

getTol ( )→浮動¶: 被托爾的價值或其默認值。

getWeightCol ( )→str¶: 得到的價值weightCol或其默認值。

hasDefault ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶: 檢查是否一個參數有默認值。

hasParam ( paramName:str )→bool¶: 測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶: 檢查參數是否由用戶或顯式地設置一個默認值。

收取 ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶: 檢查參數是否由用戶顯式地設置。

classmethod 負載 ( 路徑:str )→RL¶: 從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。

classmethod 讀 ( )→pyspark.ml.util.JavaMLReader(RL] ¶: 返回一個MLReader這個類的實例。

保存 ( 路徑:str )→沒有¶: 這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

集 ( 參數:pyspark.ml.param.Param,價值:任何 )→沒有¶: 設置一個參數嵌入參數映射。

setAggregationDepth ( 價值:int )→pyspark.ml.regression.LinearRegression ¶: 設置的值aggregationDepth。

setElasticNetParam ( 價值:浮動 )→pyspark.ml.regression.LinearRegression ¶: 設置的值elasticNetParam。

setEpsilon ( 價值:浮動 )→pyspark.ml.regression.LinearRegression ¶: 設置的值ε。

setFeaturesCol ( 價值:str )→P¶: 設置的值featuresCol。

setFitIntercept ( 價值:bool )→pyspark.ml.regression.LinearRegression ¶: 設置的值fitIntercept。

setLabelCol ( 價值:str )→P¶: 設置的值labelCol。

setLoss ( 價值:str )→pyspark.ml.regression.LinearRegression ¶: 設置的值損失。

setMaxBlockSizeInMB ( 價值:浮動 )→pyspark.ml.regression.LinearRegression ¶: 設置的值maxBlockSizeInMB。

setMaxIter ( 價值:int )→pyspark.ml.regression.LinearRegression ¶: 設置的值麥克斯特。

setparam ( 自我,\ *,featuresCol = "特性",labelCol = "標簽",predictionCol = "預測",麥克斯特= 100,regParam = 0.0,elasticNetParam = 0.0,托爾= 1 e-6,fitIntercept = True,標準化= True,解算器=“自動”,weightCol =沒有,aggregationDepth = 2,損失= " squaredError ",ε= 1.35,maxBlockSizeInMB = 0.0 ) ¶: 設置參數的線性回歸。

setPredictionCol ( 價值:str )→P¶: 設置的值predictionCol。

setRegParam ( 價值:浮動 )→pyspark.ml.regression.LinearRegression ¶: 設置的值regParam。

setSolver ( 價值:str )→pyspark.ml.regression.LinearRegression ¶: 設置的值解算器。

setStandardization ( 價值:bool )→pyspark.ml.regression.LinearRegression ¶: 設置的值標準化。

setTol ( 價值:浮動 )→pyspark.ml.regression.LinearRegression ¶: 設置的值托爾。

setWeightCol ( 價值:str )→pyspark.ml.regression.LinearRegression ¶: 設置的值weightCol。

寫 ( )→pyspark.ml.util.JavaMLWriter¶: 返回一個MLWriter實例毫升實例。

屬性的文檔

aggregationDepth =參數(父母=‘定義’,name = ' aggregationDepth ', doc =的建議深度treeAggregate (> = 2)。) ¶

elasticNetParam =參數(父母=‘定義’,name = ' elasticNetParam ', doc = ' ElasticNet混合參數,在區間[0,1]。L2為α= 0,懲罰是一種懲罰。L1為α= 1,這是一個點球。”) ¶

ε =參數(父母=‘定義’,name =ε,doc = '形狀參數控製的魯棒性。必須> 1.0。隻有有效的huber)損失時 ¶

featuresCol =參數(父母=‘定義’,name = ' featuresCol ', doc =功能列名稱。) ¶

fitIntercept =參數(父母=‘定義’,name = ' fitIntercept ', doc =是否適合一個截距項。) ¶

labelCol =參數(父母=‘定義’,name = ' labelCol ', doc =“標簽列名。”) ¶

損失 =參數(父母=‘定義’,name =“損失”,醫生= '損失函數進行優化。支持選擇:squaredError huber。”) ¶

maxBlockSizeInMB =參數(父母=‘定義’,name = ' maxBlockSizeInMB ',醫生在MB = '最大內存疊加輸入數據塊。數據分區內堆放。如果超過剩餘的數據大小的分區是調整大小的數據。默認0.0代表了選擇最優值,取決於特定的算法。必須> = 0”。) ¶

麥克斯特 =參數(父母=‘定義’,name =“麥克斯特”,醫生=“馬克斯(> = 0)的迭代次數。) ¶

參數個數 ¶: 返回所有參數命令的名字。默認實現使用dir ()所有的屬性類型參數。

predictionCol =參數(父母=‘定義’,name = ' predictionCol ', doc =預測列名稱。) ¶

regParam =參數(父母=‘定義’,name = ' regParam ', doc =“正則化參數(> = 0)”。) ¶

解算器 =參數(父母=‘定義’,name =“規劃求解”,醫生= '優化的求解算法。支持選擇:汽車、正常,l-bfgs。”) ¶

標準化 =參數(父母=‘定義’,name =“標準化”,醫生=是否規範培訓特性擬合模型之前。) ¶

托爾 =參數(父母=‘定義’,name =“托爾”,醫生=迭代算法的收斂公差(> = 0)”。) ¶

weightCol =參數(父母=‘定義’,name = ' weightCol ', doc = '體重列名。如果這不是設置或空,我們對所有實例權重為1.0。”) ¶

以前的

IsotonicRegressionModel

下一個

LinearRegressionModel