取消
顯示的結果
而不是尋找
你的意思是:

多從火花雪花聲明中寫道

pvignesh92
尊敬的貢獻者

火花是否支持多語句寫入雪花在單個會話嗎?精致的,我有一個要求,我需要做的事情

  1. 選擇性刪除數據表和雪花
  2. 雪花表插入記錄(範圍從1 M行)

我想把這些都成一個單一的事務,這樣我可以在這裏得到一致性。我不能使用覆蓋模式,因為它將在雪花覆蓋我整個表。我看過runQuery sfutils支持multiStatements但更在雪花處理數據,而不是從磚到雪花。

謝謝,

Vignesh

1接受解決方案

接受的解決方案

pvignesh92
尊敬的貢獻者

在我的分析,我有以下理解

  1. 如果您的數據是坐在雪花,你有一組DDL和DML需要包裝成一個單一的事務的查詢,您可以使用MULTI_STATEMENT選項0和使用雪花跑龍套runQuery方法運行單獨的事務。所有這些命令將執行在雪花一個會話id
  2. 如果需求是編寫一個dataframe計算從磚雪花隨著DDL命令,然後將兩個不同的事務執行與兩個不同的會話id。所以不可能從盒子裏包裝單個會話。

在原帖子查看解決方案

8回答說8

werners1
尊敬的貢獻者三世

你在找類似的合並(插入)或replaceWhere嗎?

pvignesh92
尊敬的貢獻者

是的。這是一種替代的地方。我在磚層的輸入表。所以我加入他們dataframe和寫。我想寫這個dataframe雪花表通過有選擇地刪除數據作為不同地區的我有單獨的管道。所以我在雪花覆蓋表隻能在該地區。

werners1
尊敬的貢獻者三世

唯一的方法可以在一個命令如果雪花replaceWhere之類的東西。我做了一些搜索,但什麼也沒找到。

pvignesh92
尊敬的貢獻者

是的。我嚐試過刪除命令使用sfutils runQuery使用df然後我的數據插入。寫方法。它們是在不同的雪花與兩個不同的會話id。我基本上想包裝這兩個語句作為一個單獨的事務

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map