如何更新外部metastore集群配置在飛嗎?

[Oliver_Floyd]

你好,

在我的用例,我的數據推到一個adls gen2容器被稱為攝取

經過一些數據處理的磚集群攝取工作區,我宣布相關的表在外部metastore工作區

這個處理結束時(根據一定標準)我把策劃數據(一個簡單的複製),其他容器(實驗室/ qal /珠三角,每個容器包含數據磚工作空間)

我想聲明的metastores 3工作區。

一個解決方案是發射3任務後第一個任務。與這些任務相聯係的每個集群配置了每個磚的metastore工作區。但這個解決方案是繁瑣的工作:

• 需要為每個工作區啟動集群
• 即使在metastore表已經宣布,你必須檢查啟動集群。
• 減慢我們的數據的過程

另一個解決方案可以動態更新集群配置的第一個任務。我試著修改引發會話配置使用上麵的代碼:

spark.sparkContext.getConf()這裏(“spark.hadoop.javax.jdo.option.ConnectionURL "、" jdbc::狀態"置疑" / / lab_env.database.windows.net: 1433;數據庫= labdatabase”)

或

spark.conf.set (“spark.hadoop.javax.jdo.option.ConnectionURL "、" jdbc::狀態"置疑" / / lab_env.database.windows.net: 1433;數據庫= labdatabase”)

但似乎它不起作用。

我的問題很簡單:你知道有一種方法可以改變這個配置一個筆記本,或者如果它是不可能的

提前感謝你對你的幫助

[Kaniz]

你好@奧利弗·弗洛伊德!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Atanu · Accepted solution]

嗨@oliv競爭者按我們的醫生可以通過隻有通過

1. 火花配置
2. Init腳本

所以我認為,它不會工作。謝謝。但是可能你可以有這個功能要求我們的產品團隊。

[Oliver_Floyd]

你好@Atanu Sarkar,

謝謝你的回答。我已經創建了一個特性的要求。我希望,它將很快接受了^ ^