取消
顯示的結果
而不是尋找
你的意思是:

集群支持增量表multicluster磚中寫道

64883年
新的因素

你好,

我們使用磚在AWS和我們最近開始使用三角洲表。

我們用R。

雖然下麵的代碼[1]在一本筆記本,當磚集群上運行它從RStudio我們得到以下錯誤:

. lang。IllegalStateException:找不到REPL id在引發局部屬性。

#當前模式不支持事務寫不同的集群。

#你可以禁用多集群中通過設置“spark.databricks.delta.multiClusterWrites.enabled”“假”。

#如果這是禁用的,寫一個表必須來自一個集群。

#請檢查https://docs.www.eheci.com/delta/delta-intro.html frequently-asked-questions-faq為更多的細節。

我們試著運行時8.1,10.4和11.1 beta。代碼設置spark.databricks.delta.multiClusterWrites.enabled為false時隻運行良好。

我們應該做些什麼來運行multicluster寫支持嗎?

謝謝你!

拉杜

[1]

自衛隊= SparkR: as.DataFrame (df)

如果(低(dataset_name) % % SparkR:表名(db_name)) {

#添加數據。不需要指定分區,將使用的文件。

SparkR:: write.df (

自衛隊,

路徑=低(paste0 (dbfs: / user /蜂巢/倉庫/ ',db_name,”。db / ', dataset_name)),

模式=“追加”,

源=“三角洲”,

mergeSchema = TRUE

)

其他}{

#首先創建磚三角洲管理表

SparkR:: saveAsTable (

自衛隊,

表名=低(paste0 (db_name”。”,dataset_name)),

模式=“追加”,

源=“三角洲”,

mergeSchema = TRUE

)

#覆蓋表信息與分區信息

SparkR:: write.df (

自衛隊,

路徑=低(paste0 (dbfs: / user /蜂巢/倉庫/ ',db_name,”。db / ', dataset_name)),

模式=“覆蓋”,

源=“三角洲”,

overwriteSchema = TRUE,

partitionBy = c(“公司”)

)

}

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map