取消
顯示的結果
而不是尋找
你的意思是:

三角洲生活表:批量導入曆史數據?

sarguido
新的貢獻者二世

你好!我很新的工作與達美住表和我有一些問題。我想大量的曆史數據導入DLT。然而讓DLT管道運行永遠不工作與數據庫我們試圖從——盡管進口連接參數設置,仍然有超時的問題。

我想解決這個問題通過批量導入曆史數據一次轉移到三角洲湖,然後將這些表DLT使用sql語句轉換為δ。然而,當我試圖把我的管道表,我得到一個錯誤:不可能實現的模式。table_name因為管理表已經存在的名稱。表已經存在因為我想種子用大量的曆史數據。是否有辦法讓這個工作嗎?我需要改變一些配置的地方嗎?

另一種我認為是所有導入三角洲湖,然後做一個連接或聯合的DLT管道,但後來我需要硬編碼的日期,我希望DLT開始攝取數據(因為其餘的數據將在三角洲湖已經存在)。

另一個額外的可能隻是透支使用光子加速度計算和最初的進口。也許這就是我應該在這裏幹什麼呢?

尋找一些來自專家輸入/人的DLT關於最佳實踐的經驗。感謝你的閱讀!

4回複4

匿名
不適用

@Sarah圭多:

這聽起來像你在正確的軌道上導入曆史數據到湖,然後將表格轉換為δ生活表使用SQL語句轉換為δ。你看到的錯誤消息管理表已經存在的名稱是因為您已經創建了一個管理的三角洲表在三角洲湖這個名字,現在你正試圖用相同的名稱創建一個三角洲住表。

為了避免這個錯誤,您可以嚐試重命名管理三角洲表之前別的轉換到三角洲住表。您可以使用ALTER TABLE SQL語句:

改變表模式。table_name schema.new_table_name重命名;

一旦你改名為三角洲管理表,您可以使用轉換為語句創建一個δ住表與原名稱。

關於你的其他選擇,使用光子加速最初的進口可能是一個不錯的選擇,如果你有足夠的資源。這將允許您快速有效地導入數據,然後你可以從這一點開始攝取新的數據到DLT前進。

使用連接或聯合的DLT管道把三角洲湖的曆史數據與新數據攝取到DLT也可以工作,但是正如你提到的,您將需要硬編碼DLT的日期應該開始攝取數據。這可能是有問題的,如果你需要更改日期。

總的來說,曆史數據導入三角洲湖,然後轉換成三角洲表可能是最好的方法為你的生活場景。重命名管理三角洲表之前將它轉換為一個三角洲住表應該讓你避免你所看到的錯誤消息。

希望這可以幫助!快樂的學習。

Vidula_Khanna
主持人
主持人

嗨@Sarah圭多

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

sarguido
新的貢獻者二世

不幸的是,答案沒有幫助我,我跟一個朋友在磚工作來得到一個答案。

HendriJimix
新的貢獻者二世

嗨。你得到一個好的回複DB的朋友嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map