你好!我很新的工作與達美住表和我有一些問題。我想大量的曆史數據導入DLT。然而讓DLT管道運行永遠不工作與數據庫我們試圖從——盡管進口連接參數設置,仍然有超時的問題。
我想解決這個問題通過批量導入曆史數據一次轉移到三角洲湖,然後將這些表DLT使用sql語句轉換為δ。然而,當我試圖把我的管道表,我得到一個錯誤:不可能實現的模式。table_name因為管理表已經存在的名稱。表已經存在因為我想種子用大量的曆史數據。是否有辦法讓這個工作嗎?我需要改變一些配置的地方嗎?
另一種我認為是所有導入三角洲湖,然後做一個連接或聯合的DLT管道,但後來我需要硬編碼的日期,我希望DLT開始攝取數據(因為其餘的數據將在三角洲湖已經存在)。
另一個額外的可能隻是透支使用光子加速度計算和最初的進口。也許這就是我應該在這裏幹什麼呢?
尋找一些來自專家輸入/人的DLT關於最佳實踐的經驗。感謝你的閱讀!
@Sarah圭多:
這聽起來像你在正確的軌道上導入曆史數據到湖,然後將表格轉換為δ生活表使用SQL語句轉換為δ。你看到的錯誤消息管理表已經存在的名稱是因為您已經創建了一個管理的三角洲表在三角洲湖這個名字,現在你正試圖用相同的名稱創建一個三角洲住表。
為了避免這個錯誤,您可以嚐試重命名管理三角洲表之前別的轉換到三角洲住表。您可以使用ALTER TABLE SQL語句:
改變表模式。table_name schema.new_table_name重命名;
一旦你改名為三角洲管理表,您可以使用轉換為語句創建一個δ住表與原名稱。
關於你的其他選擇,使用光子加速最初的進口可能是一個不錯的選擇,如果你有足夠的資源。這將允許您快速有效地導入數據,然後你可以從這一點開始攝取新的數據到DLT前進。
使用連接或聯合的DLT管道把三角洲湖的曆史數據與新數據攝取到DLT也可以工作,但是正如你提到的,您將需要硬編碼DLT的日期應該開始攝取數據。這可能是有問題的,如果你需要更改日期。
總的來說,曆史數據導入三角洲湖,然後轉換成三角洲表可能是最好的方法為你的生活場景。重命名管理三角洲表之前將它轉換為一個三角洲住表應該讓你避免你所看到的錯誤消息。
希望這可以幫助!快樂的學習。
嗨。你得到一個好的回複DB的朋友嗎?