SparkML和火花MLlib之間的區別是什麼?

[User16826992666]

我聽到人們談論SparkML但是當它談到MLlib閱讀文檔。我不理解的差異,有人能幫我理解這個嗎?

[sean_owen · Accepted solution]

他們不是真正的不同。在火花DataFrames之前,舊的ML算法基礎上實現抽樣API。這是一般稱為“火花MLlib”。DataFrames之後,一些新的實現包裝的頂部添加擴展API的舊DataFrames一起工作。這是有時被稱為“火花毫升”。兩者都是可互換的;仍然存在,在某些情況下有實現“老”火花MLlib也沒有出現在“新”火花毫升api。因此,盡管你可能主要使用DataFrame API版本,它們的一個單元,這兩個術語都好。我認為“火花毫升”更喜歡新的API,但你會看到MLlib仍然很多。