火花MLlib,估計量和變壓器之間的區別是什麼?

[sean_owen · Accepted solution]

這些術語借用scikit-learn,和我們的想法是相同的。變壓器隻是管道的一個組件,轉換數據。一個估計量也是一個動變壓器,但另外需要“適應”數據之前,知道如何變換。

例如,StringTokenizer隻是一個變壓器,因為它不需要看任何數據知道要做什麼,來標記字符串。機器學習模型像LogisticRegression也是一個變壓器,因為它將數據通過添加一個預測。但是它必須是適合數據之前,首先它可以這樣做。所以它(也)是一個估計量。