取消
顯示的結果
而不是尋找
你的意思是:

多從火花雪花聲明中寫道

pvignesh92
尊敬的貢獻者

火花是否支持多語句寫入雪花在單個會話嗎?精致的,我有一個要求,我需要做的事情

  1. 選擇性刪除數據表和雪花
  2. 雪花表插入記錄(範圍從1 M行)

我想把這些都成一個單一的事務,這樣我可以在這裏得到一致性。我不能使用覆蓋模式,因為它將在雪花覆蓋我整個表。我看過runQuery sfutils支持multiStatements但更在雪花處理數據,而不是從磚到雪花。

謝謝,

Vignesh

8回答說8

werners1
尊敬的貢獻者三世

如果雪花沒有這種可能性,不可能在火花。

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Vigneshraja Palaniraj,請檢查下麵的文檔如果這符合你的用例

https://docs.www.eheci.com/sql/language-manual/delta-merge-into.html

pvignesh92
尊敬的貢獻者

嗨@Lakshay戈埃爾。謝謝你的回應。這個選項是更多關於當你想更新你的δ表中現有的數據磚層本身。但我在找選擇當我想寫雪花dataframe編寫API使用火花雪花連接器

pvignesh92
尊敬的貢獻者

在我的分析,我有以下理解

  1. 如果您的數據是坐在雪花,你有一組DDL和DML需要包裝成一個單一的事務的查詢,您可以使用MULTI_STATEMENT選項0和使用雪花跑龍套runQuery方法運行單獨的事務。所有這些命令將執行在雪花一個會話id
  2. 如果需求是編寫一個dataframe計算從磚雪花隨著DDL命令,然後將兩個不同的事務執行與兩個不同的會話id。所以不可能從盒子裏包裝單個會話。
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map