磚+雪花Snowpipe流

[ptutak]

有人知道它是否可以使用磚雪花連接器一起最新雪花Snowpipe流的特性嗎?

[artsheiko]

在其核心,Snowpipe是一個工具從雲存儲的數據複製到雪花。Snowpipe不是流,但如何批雲存儲的數據加載到一個經常性的表。

磚也有類似的功能,我們稱之為自動加載程序。自動加載程序使開發人員能夠創建一個火花結構化流管道與雲文件作為數據源。

使用結構化流或三角洲生活表實現流媒體用例。

[ptutak]

我們試圖解決的用例是使用磚卡夫卡的數據加載到雪花,我們可以使用磚雪花的連接器,但隻有當它能夠使用Snowpipe流在下麵。

[artsheiko]

你為什麼需要Snowpipe嗎?直接連接到卡夫卡從磚:檢查https://www.dbdemos.ai/demo.html?demoName=streaming-sessionization

[ptutak]

與典型的雪花連接器我們不能省略的雪花倉庫增加了整個操作的成本,而當我們使用Snowpipe流可以省略倉庫和降低成本:snowpipe-streaming-cost。