如何訪問數據對象從不同的語言(R / SQL /火花/ Python)

[fs]

你好對不起新火花,磚。請能有人總結這些不同的語言之間移動數據的選項。特別是興趣R < = > Python選項:可以看到SQL /火花。花了很多時間用google搜索,但沒有結果。認為可以使用R的網狀訪問python對象. . ?

無論如何感謝任何一個保證沒有白癡的鏈接,快速指南,代碼。

[Pholo]

嗨,你可以創建一個臨時表,然後檢索所有編程語言:

例中創建sql:

% sql創建或替換臨時視圖Test1 SELECT *從測試

然後在python中檢索

% python spark.read.table (Test1)

[fs]

謝謝。我把這種方法來創建視圖從R,然後使用SQL查詢:

r %

rd = as.data.frame (sql (“select * from CNTRY_FLOWS”))

…不確定是否有一個更直接的路線。我不確定什麼是相當於python spark.read.table (R)。

[mgiglia · Accepted solution]

如果你使用R我強烈推薦從RStudio sparklyr包。許多pyspark函數具有相同的名稱,例如,“spark.read.table()”是sparklyr“spark_read_table”。更多信息:https://spark.rstudio.com/packages/sparklyr/latest/reference/spark_read_table.html

[mgiglia]

另一件事我想與火花——你想讓你的火花盡可能多的數據,而不是把它帶回R除非你有。Sparklyr可以使用許多tidyverse功能直接在火花無需收集你的結果,把它們放在一個數據幀。R函數或包沒有直接連接到火花API還可以使用sparklyr:: spark_apply分發R代碼在集群和離開你在火花引發數據幀。