喬治。¶

類 pyspark.ml.clustering。 喬治。 ( *,featuresCol:str=“特性”,麥克斯特:int=20.,種子:可選(int]=沒有一個,checkpointInterval:int=10,k:int=10,優化器:str=“在線”,learningOffset:浮動=1024.0,learningDecay:浮動=0.51,subsamplingRate:浮動=0.05,optimizeDocConcentration:bool=真正的,docConcentration:可選(列表(浮動]]=沒有一個,topicConcentration:可選(浮動]=沒有一個,topicDistributionCol:str=“topicDistribution”,keepLastCheckpoint:bool=真正的 ) ¶

潛在狄利克雷分配(LDA),主題為文本文檔設計模型。

術語:

“術語”=“單詞”:一個元素的詞彙

“令牌”:一個術語出現在文檔的實例

“主題”:多項式分布代表某些概念

“文檔”:一段文字,對應一行的輸入數據

原始LDA論文(期刊版本):: 布萊,Ng和約旦。“潛在狄利克雷分配。“JMLR, 2003。

輸入數據(featuresCol): LDA給出文檔作為輸入數據的集合,通過featuresCol參數。每個文檔作為一個指定向量vocabSize長度,每個條目的計數是文檔中相應的術語(詞)。變壓器等特點pyspark.ml.feature.Tokenizer和pyspark.ml.feature.CountVectorizer可以用於將文本轉換為字數向量。

例子

           > > >從pyspark.ml.linalg進口向量,SparseVector> > >從pyspark.ml.clustering進口喬治。> > >df=火花。createDataFrame([[1,向量。密集的([0.0,1.0])),…(2,SparseVector(2,{0:1.0}))),(“id”,“特征”])> > >喬治。=喬治。(k=2,種子=1,優化器=“新興市場”)> > >喬治。。setMaxIter(10)LDA……> > >喬治。。getMaxIter()10> > >喬治。。清晰的(喬治。。麥克斯特)> > >模型=喬治。。適合(df)> > >模型。變換(df)。顯示()+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +| | |特性id topicDistribution |+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +[0.0,1.0]| 1 | |…| 2 | (2 [0][1.0])|…+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +…> > >模型。setSeed(1)DistributedLDAModel……> > >模型。getTopicDistributionCol()“topicDistribution”> > >模型。isDistributed()真正的> > >localModel=模型。toLocal()> > >localModel。isDistributed()假> > >模型。vocabSize()2> > >模型。describeTopics()。顯示()+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +| |主題termIndices | termWeights |+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +| 0 | (1,0)| 0.50401530077160 || 1 | | [0,1][0.50401530077160…|+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +…> > >模型。topicsMatrix()DenseMatrix (2, 2, 0.496, 0.504, 0.504, 0.496, 0)> > >lda_path=temp_path+“/ lda”> > >喬治。。保存(lda_path)> > >sameLDA=喬治。。負載(lda_path)> > >distributed_model_path=temp_path+“/ lda_distributed_model”> > >模型。保存(distributed_model_path)> > >sameModel=DistributedLDAModel。負載(distributed_model_path)> > >local_model_path=temp_path+“/ lda_local_model”> > >localModel。保存(local_model_path)> > >sameLocalModel=LocalLDAModel。負載(local_model_path)> > >模型。變換(df)。取(1)= =sameLocalModel。變換(df)。取(1)真正的
          

方法

`清晰的`(參數)	清除參數映射的參數是否被顯式地設置。
`複製`((額外的))	創建這個實例的副本具有相同uid和一些額外的參數。
`explainParam`(參數)	解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。
`explainParams`()	返回文檔的所有參數選擇默認值和用戶提供的值。
`extractParamMap`((額外的))	提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。
`適合`(數據集[params))	適合一個模型與可選參數的輸入數據集。
`fitMultiple`(paramMaps數據集)	適合一個模型為每個參數映射的輸入數據集paramMaps。
`getCheckpointInterval`()	得到的價值checkpointInterval或其默認值。
`getDocConcentration`()	獲得的價值`docConcentration`或其默認值。
`getFeaturesCol`()	得到的價值featuresCol或其默認值。
`getK`()	獲得的價值`k`或其默認值。
`getKeepLastCheckpoint`()	獲得的價值`keepLastCheckpoint`或其默認值。
`getLearningDecay`()	獲得的價值`learningDecay`或其默認值。
`getLearningOffset`()	獲得的價值`learningOffset`或其默認值。
`getMaxIter`()	麥克斯特的價值或其默認值。
`getOptimizeDocConcentration`()	獲得的價值`optimizeDocConcentration`或其默認值。
`getOptimizer`()	獲得的價值`優化器`或其默認值。
`getOrDefault`(參數)	得到參數的值在用戶提供的參數映射或其默認值。
`getParam`(paramName)	通過它的名稱參數。
`getSeed`()	種子的價值或其默認值。
`getSubsamplingRate`()	獲得的價值`subsamplingRate`或其默認值。
`getTopicConcentration`()	獲得的價值`topicConcentration`或其默認值。
`getTopicDistributionCol`()	獲得的價值`topicDistributionCol`或其默認值。
`hasDefault`(參數)	檢查是否一個參數有默認值。
`hasParam`(paramName)	測試這個實例包含一個參數是否與給定名稱(字符串)。
`isDefined`(參數)	檢查參數是否由用戶或顯式地設置一個默認值。
`收取`(參數)	檢查參數是否由用戶顯式地設置。
`負載`(路徑)	從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。
`讀`()	返回一個MLReader這個類的實例。
`保存`(路徑)	這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。
`集`(參數值)	設置一個參數嵌入參數映射。
`setCheckpointInterval`(值)	設置的值`checkpointInterval`。
`setDocConcentration`(值)	設置的值`docConcentration`。
`setFeaturesCol`(值)	設置的值`featuresCol`。
`setK`(值)	設置的值`k`。
`setKeepLastCheckpoint`(值)	設置的值`keepLastCheckpoint`。
`setLearningDecay`(值)	設置的值`learningDecay`。
`setLearningOffset`(值)	設置的值`learningOffset`。
`setMaxIter`(值)	設置的值`麥克斯特`。
`setOptimizeDocConcentration`(值)	設置的值`optimizeDocConcentration`。
`setOptimizer`(值)	設置的值`優化器`。
`setparam`(自我,\[,麥克斯特featuresCol…))	LDA的設置參數。
`setSeed`(值)	設置的值`種子`。
`setSubsamplingRate`(值)	設置的值`subsamplingRate`。
`setTopicConcentration`(值)	設置的值`topicConcentration`。
`setTopicDistributionCol`(值)	設置的值`topicDistributionCol`。
`寫`()	返回一個MLWriter實例毫升實例。

屬性

`checkpointInterval`
`docConcentration`
`featuresCol`
`k`
`keepLastCheckpoint`
`learningDecay`
`learningOffset`
`麥克斯特`
`optimizeDocConcentration`
`優化器`
`參數個數`	返回所有參數命令的名字。
`種子`
`subsamplingRate`
`topicConcentration`
`topicDistributionCol`

方法的文檔

清晰的 ( 參數:pyspark.ml.param.Param )→沒有¶: 清除參數映射的參數是否被顯式地設置。

複製 ( 額外的:可選(ParamMap]=沒有一個 )→摩根大通¶

創建這個實例的副本具有相同uid和一些額外的參數。這個實現第一次調用參數。複製和then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.

參數

額外的 東西,可選: 額外參數複製到新實例

返回

JavaParams: 這個實例的副本

explainParam ( 參數:聯盟(str,pyspark.ml.param.Param] )→str¶: 解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams ( )→str¶: 返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap ( 額外的:可選(ParamMap]=沒有一個 )→ParamMap¶

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

參數

額外的 東西,可選: 額外的參數值

返回

dict: 合並後的參數映射

適合 ( 數據集:pyspark.sql.dataframe.DataFrame,參數個數:聯盟[ParamMap、列表(ParamMap)元組(ParamMap),沒有一個)=沒有一個 )→聯盟(米,列表(米] ] ¶

適合一個模型與可選參數的輸入數據集。

參數

數據集 pyspark.sql.DataFrame: 輸入數據集。
參數個數 dict或列表或元組,可選的: 一個可選的參數覆蓋嵌入參數的地圖。如果列表/元組的參數映射,這適用於每一個參數並返回一個列表的模型映射。

返回

變壓器或者一個列表變壓器: 擬合模型(年代)

fitMultiple ( 數據集:pyspark.sql.dataframe.DataFrame,paramMaps:序列(ParamMap] )→迭代器(元組(int,米] ] ¶

適合一個模型為每個參數映射的輸入數據集paramMaps。

參數

數據集 pyspark.sql.DataFrame: 輸入數據集。
paramMaps collections.abc.Sequence: 一係列的參數映射。

返回

_FitMultipleIterator: 一個線程安全的iterable包含為每個參數映射模型。每次調用下一個(modelIterator)將返回(指數模型)模型是適合使用在哪裏paramMaps(指數)。指數值可能不是連續的。

getCheckpointInterval ( )→int¶: 得到的價值checkpointInterval或其默認值。

getDocConcentration ( )→列表(浮動] ¶: 獲得的價值docConcentration或其默認值。

getFeaturesCol ( )→str¶: 得到的價值featuresCol或其默認值。

getK ( )→int¶: 獲得的價值k或其默認值。

getKeepLastCheckpoint ( )→bool¶: 獲得的價值keepLastCheckpoint或其默認值。

getLearningDecay ( )→浮動¶: 獲得的價值learningDecay或其默認值。

getLearningOffset ( )→浮動¶: 獲得的價值learningOffset或其默認值。

getMaxIter ( )→int¶: 麥克斯特的價值或其默認值。

getOptimizeDocConcentration ( )→bool¶: 獲得的價值optimizeDocConcentration或其默認值。

getOptimizer ( )→str¶: 獲得的價值優化器或其默認值。

getOrDefault ( 參數:聯盟(str,pyspark.ml.param.Param(T]] )→聯盟(任何,T] ¶: 得到參數的值在用戶提供的參數映射或其默認值。如果沒有設置提出了一個錯誤。

getParam ( paramName:str )→pyspark.ml.param.Param ¶: 通過它的名稱參數。

getSeed ( )→int¶: 種子的價值或其默認值。

getSubsamplingRate ( )→浮動¶: 獲得的價值subsamplingRate或其默認值。

getTopicConcentration ( )→浮動¶: 獲得的價值topicConcentration或其默認值。

getTopicDistributionCol ( )→str¶: 獲得的價值topicDistributionCol或其默認值。

hasDefault ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶: 檢查是否一個參數有默認值。

hasParam ( paramName:str )→bool¶: 測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶: 檢查參數是否由用戶或顯式地設置一個默認值。

收取 ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶: 檢查參數是否由用戶顯式地設置。

classmethod 負載 ( 路徑:str )→RL¶: 從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。

classmethod 讀 ( )→pyspark.ml.util.JavaMLReader(RL] ¶: 返回一個MLReader這個類的實例。

保存 ( 路徑:str )→沒有¶: 這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

集 ( 參數:pyspark.ml.param.Param,價值:任何 )→沒有¶: 設置一個參數嵌入參數映射。

setCheckpointInterval ( 價值:int )→pyspark.ml.clustering.LDA ¶: 設置的值checkpointInterval。

setDocConcentration ( 價值:列表(浮動] )→pyspark.ml.clustering.LDA ¶

設置的值docConcentration。

例子

             > > >算法=喬治。()。setDocConcentration([0.1,0.2])> > >算法。getDocConcentration()[0.1……,0.2。。。]
            

setFeaturesCol ( 價值:str )→pyspark.ml.clustering.LDA ¶: 設置的值featuresCol。

setK ( 價值:int )→pyspark.ml.clustering.LDA ¶

設置的值k。

             > > >算法=喬治。()。setK(10)> > >算法。getK()10
            

setKeepLastCheckpoint ( 價值:bool )→pyspark.ml.clustering.LDA ¶

設置的值keepLastCheckpoint。

例子

             > > >算法=喬治。()。setKeepLastCheckpoint(假)> > >算法。getKeepLastCheckpoint()假
            

setLearningDecay ( 價值:浮動 )→pyspark.ml.clustering.LDA ¶

設置的值learningDecay。

例子

             > > >算法=喬治。()。setLearningDecay(0.1)> > >算法。getLearningDecay()0.1……
            

setLearningOffset ( 價值:浮動 )→pyspark.ml.clustering.LDA ¶

設置的值learningOffset。

例子

             > > >算法=喬治。()。setLearningOffset(One hundred.)> > >算法。getLearningOffset()100.0
            

setMaxIter ( 價值:int )→pyspark.ml.clustering.LDA ¶: 設置的值麥克斯特。

setOptimizeDocConcentration ( 價值:bool )→pyspark.ml.clustering.LDA ¶

設置的值optimizeDocConcentration。

例子

             > > >算法=喬治。()。setOptimizeDocConcentration(真正的)> > >算法。getOptimizeDocConcentration()真正的
            

setOptimizer ( 價值:str )→pyspark.ml.clustering.LDA ¶

設置的值優化器。目前隻支持“新興市場”和“在線”。

例子

             > > >算法=喬治。()。setOptimizer(“新興市場”)> > >算法。getOptimizer()“新興市場”
            

setparam ( 自我,\ *,featuresCol = "特性",麥克斯特= 20,種子=沒有,checkpointInterval = 10,k = 10,優化器= "在線",learningOffset = 1024.0,learningDecay = 0.51,subsamplingRate = 0.05,optimizeDocConcentration = True,docConcentration =沒有,topicConcentration =沒有,topicDistributionCol = " topicDistribution ",keepLastCheckpoint = True ) ¶: LDA的設置參數。

setSeed ( 價值:int )→pyspark.ml.clustering.LDA ¶: 設置的值種子。

setSubsamplingRate ( 價值:浮動 )→pyspark.ml.clustering.LDA ¶

設置的值subsamplingRate。

例子

             > > >算法=喬治。()。setSubsamplingRate(0.1)> > >算法。getSubsamplingRate()0.1……
            

setTopicConcentration ( 價值:浮動 )→pyspark.ml.clustering.LDA ¶

設置的值topicConcentration。

例子

             > > >算法=喬治。()。setTopicConcentration(0.5)> > >算法。getTopicConcentration()0.5……
            

setTopicDistributionCol ( 價值:str )→pyspark.ml.clustering.LDA ¶

設置的值topicDistributionCol。

例子

             > > >算法=喬治。()。setTopicDistributionCol(“topicDistributionCol”)> > >算法。getTopicDistributionCol()“topicDistributionCol”
            

寫 ( )→pyspark.ml.util.JavaMLWriter¶: 返回一個MLWriter實例毫升實例。

屬性的文檔

checkpointInterval =參數(父母=‘定義’,name = ' checkpointInterval ', doc = '設置檢查點間隔(> = 1)或禁用檢查點(1)。例如10意味著緩存將檢查點每10迭代。注意:此設置將被忽略,如果目錄沒有設置檢查站SparkContext。”) ¶

docConcentration =參數(父母=‘定義’,name = ' docConcentration ', doc =“濃度參數(通常叫“阿爾法”)之前放在文檔\ '分布在主題(“θ”)。”) ¶

featuresCol =參數(父母=‘定義’,name = ' featuresCol ', doc =功能列名稱。) ¶

k =參數(父母=‘定義’,名字=“k”,醫生= '的主題(集群)來推斷。必須> 1。) ¶

keepLastCheckpoint =參數(父母=‘定義’,name = ' keepLastCheckpoint ', doc = ' (EM優化器)如果使用檢查點,這表明是否繼續最後一個檢查點。如果錯誤,那麼檢查站將被刪除。刪除檢查點會導致失敗如果一個數據分區丟失,所以設置這個小心。”) ¶

learningDecay =參數(父母=‘定義’,name = ' learningDecay ', doc = '學習速率,設置為anexponential衰減率。這應該是在(0.5,1.0)保證漸近收斂。”) ¶

learningOffset =參數(父母=‘定義’,name = ' learningOffset ', doc = '(積極)的學習參數,downweights早期的迭代。更大的值使早期的迭代數少的) ¶

麥克斯特 =參數(父母=‘定義’,name =“麥克斯特”,醫生=“馬克斯(> = 0)的迭代次數。) ¶

optimizeDocConcentration =參數(父母=‘定義’,name = ' optimizeDocConcentration ', doc =”表示是否docConcentration (document-topic狄利克雷參數分布)將優化在訓練。) ¶

優化器 =參數(父母=‘定義’,name =“優化”,醫生= '優化器或推理算法用於估計LDA模型。在線支持:em”) ¶

參數個數 ¶: 返回所有參數命令的名字。默認實現使用dir ()所有的屬性類型參數。

種子 =參數(父母=‘定義’,name =“種子”,醫生=“隨機種子。”) ¶

subsamplingRate =參數(父母=‘定義’,name = ' subsamplingRate ', doc = '的一部分使用的語料庫采樣和每次迭代mini-batch梯度下降的範圍內(0,1]。) ¶

topicConcentration =參數(父母=‘定義’,name = ' topicConcentration ', doc =“濃度參數(通常叫“測試版”或“埃塔”)的事先放在主題\ '分布在條款。”) ¶

topicDistributionCol =參數(父母=‘定義’,name = ' topicDistributionCol ', doc = '輸出列主題混合分布的估計為每個文檔(通常稱為“θ”文學)。返回一個零的向量空文檔。”) ¶

以前的

GaussianMixtureSummary

下一個

LDAModel