理解火花DataFrames R DataFrames節

[Jeff1]

社區

我一直在利用R語言在磚和閱讀掌握與R火花,“我相信我最初的問題源於沒有低估引發DataFrames之間的區別和R DataFrames磚內的環境。現在我知道很多函數隻會使用R DataFrames我已經很熟悉收集()函數和copy_to()函數之間來回轉換dataframe類型。所以我的問題處理有任何形式的法則對於火花在使用R / R dataframes磚。似乎我來回轉換。

傑夫

[Hubert_Dudek1]

像火花dataframes在分布式處理方法在工人最好使用dataframes火花。另外司機,將整個數據集上執行收集到內存中不應該用於生產。

[Jeff1]

這當然是有道理的,但我遇到很多錯誤在火花DataFrames R的函數。例如geohashTools和ggplot2(尤其是ggplot2)隻使用R DataFrames(據我所知)。

[werners1 · Accepted solution]

不包括ggplot2默認情況下我相信。你需要自己安裝它。

https://spark-packages.org/package/SKKU-SKT/ggplot2.SparkR

http://papl-skku.github.io/ggplot2.SparkR/index

因為它是一個流行的包,是真正的機會可能被包括在未來。

[Kaniz]

嗨@Jeff Reichman,隻是一個友好的後續。你還需要幫助,還是上麵的回答幫助你找到解決方案了嗎?請讓我們知道。