Sparklyr

Sparklyr是什麼?

Sparklyr之間提供了一個接口是一個開源包R和Apache火花。您現在可以利用R火花的能力在現代環境中,由於火花與分布式數據交互的能力幾乎沒有延遲。Sparklyr是一種有效的工具在交互式環境中與大型數據集。這樣你可以受益於熟悉的工具在火花R為了分析數據。,給你最好的兩個世界。

通過Sparklyr可以使用火花作為dplyr後端,一個受歡迎的數據操作方案。Sparklyr提供了一係列功能,允許我們訪問火花的工具轉換/預處理數據,最重要的是,它還提供了接口火花的分布式機器學習算法等等。Sparklyr也是可擴展的。R包取決於Sparklyr調用API可以創建完整的火花。這樣的一個擴展是H2O Rsparkling, R包兼容H2O的機器學習算法。

Sparklyr的主要亮點:

• 用戶可以交互地使用dplyr以及SQL操作引發數據(通過DBI)。
• 火花數據集可以過濾和聚合然後帶進R)進行分析。
• 你將能夠協調分布式機器學習從R使用火花MLlib或水SparkingWater。
• Sparklyr用戶可以生成擴展API調用完整的火花引發包並提供接口。
• Sparklyr工具提供了一個詳盡的dplyr端有用在數據操作的情況下,分析和可視化
• 將數據加載到不同位置的火花DataFrames如當地R數據幀,蜂巢表、CSV、JSON和拚花文件。
• Sparklyr能夠連接到本地火花的實例以及遠程火花集群