Notebook-scoped R庫
Notebook-scoped R庫允許您創建和修改自定義環境特定於一個筆記本。當你安裝一個R notebook-scoped圖書館,隻有當前筆記本和任何相關的工作筆記本獲得圖書館。其他筆記本連接到相同的集群不受影響。
Notebook-scoped庫不存在跨會話。你必須重新安裝notebook-scoped庫每個會話開始時,或當筆記本脫離一個集群。
可用工人自動Notebook-scoped庫庫SparkR udf。
安裝庫為所有筆記本電腦連接到一個集群,使用工作空間或cluster-installed庫。
notebook-scoped庫安裝在R
您可以使用任何熟悉的方法安裝包R,等install.packages (),Devtools api,或Bioconductor。
從磚9.0運行時,R包訪問工人節點以及司機節點。
管理notebook-scoped圖書館R
在本節中:
用火花udf Notebook-scoped R庫
Notebook-scoped R庫和SparkR
Notebook-scoped庫可用SparkR工人;隻導入一個庫來使用它。例如,您可以運行下麵的生成caesar-encrypted SparkR UDF消息:
install.packages(“凱撒”,回購=“https://cran.microsoft.com/snapshot/2021-07-16/”)圖書館(SparkR)sparkR.session()你好< -函數(x){圖書館(凱撒)凱撒(“hello world”)}spark.lapply(c(1,2),你好)
Notebook-scoped R庫和sparklyr
默認情況下,在sparklyr: spark_apply (),包參數設置為真正的。這個圖書館在當前副本libPaths工人,工人允許您導入和使用它們。例如,您可以運行下麵的生成caesar-encrypted消息sparklyr: spark_apply ():
install.packages(“凱撒”,回購=“https://cran.microsoft.com/snapshot/2021-07-16/”)圖書館(sparklyr)sc< -spark_connect(方法=“磚”)apply_caes< -函數(x){圖書館(凱撒)凱撒(“hello world”)}sdf_len(sc,5)% > %spark_apply(apply_caes)
如果你不希望圖書館可以在工人,集包來假。
庫隔離和RStudio托管
RStudio為每個用戶創建一個單獨的庫路徑;因此用戶相互隔絕。然而,庫路徑不可用的工人。如果你想使用一個包裏麵SparkR RStudio工人的工作,您需要安裝使用集群級庫。
另外,如果你使用sparklyr udf,包安裝在RStudio可供工人在使用spark_apply (…包=真正的)。
常見問題(FAQ)
我怎麼上安裝一個包所有R筆記本的驅動程序?
顯式地設置安裝目錄/磚/火花/ R / lib。例如,使用install.packages ()、運行install.packages (“pckg”,自由= " /磚/火花/ R / lib”)。包安裝在/磚/火花/ R / lib在集群上共享所有的筆記本電腦,但是他們不可以訪問SparkR工人。如果你想在筆記本和工人,共享庫使用集群級庫。