查詢下推雪花

[山姆]

你好,

我想知道文檔存在於查詢疊加雪花。

我注意到一個單一的函數(monitonically_increasing_id())阻止整個查詢被下推到ETL過程中雪花。

是疊加來自火花JDBC連接器或從磚本身嗎?

是否可以確定查詢將被下推嗎?

[Kaniz]

你好@山姆!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我們將很快跟進與回複。

[User16869361351 · Accepted solution]

嗨,山姆,

火花連接器應用謂詞和查詢下推通過捕獲和分析火花邏輯SQL操作的計劃。當數據源是雪花,操作轉換為SQL查詢,然後在雪花中執行以提高性能。

然而,由於這種翻譯需要近一個一對一的火花SQL運營商雪花表達式的翻譯,並不是所有的火花SQL操作符可以下推。當疊加失敗時,連接器落回優化程度執行計劃。不支持的操作而不是在火花。

https://docs.snowflake.com/en/user-guide/spark-connector-use.html疊加