取消
顯示的結果
而不是尋找
你的意思是:

複製/克隆一個磚SQL表從另一個訂閱

EDDatabricks
貢獻者

我們想要複製一個磚SQL表存儲在一個數據存儲湖的刺激訂閱40 tb大小湖Dev訂閱數據存儲。

我們試圖複製存儲使用山azCopy然後複製存儲在磚,但它沒有工作。

我們終於設法複製表使用克隆的SQL命令如下:

  1. 創建表如果不存在ORIGINAL_PROD使用三角洲位置“abfss: / / <容器> @ <帳戶>.dfs.core.windows.net/path/to/storage'
  2. 創建或替換表CLONED_PROD克隆ORIGINAL_PROD位置的dbfs: / mnt / / /安裝/存儲的路徑
  3. 刪除表ORIGINAL_PROD

上麵的過程,然而它似乎非常緩慢。它執行每個需要6-7hours完成200的任務。我們的集群配置8工人,因此25批次需要25 x7hours ~ 7天= 175小時

這是正確的和最優的方法嗎?

有什麼更好的方法來克隆大表之間的賬戶嗎?

3回複3

youssefmrini
尊敬的貢獻者三世
尊敬的貢獻者三世

你可以試著用δ共享。

Kaniz
社區經理
社區經理

嗨@EDDatabricks EDDatabricks,我們一直沒有收到你自從上次反應@Youssef Mrini,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

Vidula_Khanna
主持人
主持人

嗨@EDDatabricks EDDatabricks

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map