02-20-202306:51點
在使用spark.read.format(“雪花”).options(* *選項)。選項(“數據表”、“table_name”) .load()從雪花讀取表,當我從雪花然後改變表,讀一遍,它給我的第一個版本。我在工作問題,重新啟動集群。有更好的方法嗎?也許重新啟動雪花連接器或配置不同嗎?
02-24-202305:17我
嗨@David Mayer-Foulkes,你可以試著使用不同的表名,當你修改表的雪花。
02-24-202304:51點
是的,這是可行的。然而,這是一個稍長的雪花查詢生產大量的表都是由磚筆記本的調用,所以它需要相當多的變化。我將使用這個替代如果我自動化這個過程。
然而,我認為這是一個嚴重的問題,應該警告磚在使用雪花連接器。一個隱式信任的連接工作,沒有理由程序員將限製他們的雪花改變特定的持續連接。
在任何情況下,引擎蓋下麵,我想象一個創建了連接引擎,可以關閉,重新開放。也許可以用標準的雪花sqlalchemy命令訪問引擎的筆記本嗎?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。