從雪花讀寫數據
磚的磚連接器提供了一個雪花從雪花運行時支持讀寫數據。
查詢一個雪花表在磚
您可以配置雪花,然後查詢數據的連接。下麵的代碼提供了示例語法在Python中,SQL, Scala:
snowflake_table=(火花。讀。格式(“雪花”)。選項(“數據表”,table_name)。選項(“sfUrl”,database_host_url)。選項(“sfUser”,用戶名)。選項(“sfPassword”,密碼)。選項(“sfDatabase”,database_name)。選項(“sfSchema”,schema_name)。選項(“sfWarehouse”,warehouse_name)。負載())
下降表如果存在snowflake_table;創建表snowflake_table使用雪花選項(數據表“<表名稱>”,sfUrl“< database-host-url >”,sfUser“<用戶名>”,sfPassword“<密碼>”,sfDatabase“<數據庫名稱>”,sfSchema“<模式名稱>”,sfWarehouse“< warehouse-name >”);選擇*從snowflake_table;
瓦爾snowflake_table=火花。讀。格式(“雪花”)。選項(“數據表”,table_name)。選項(“sfUrl”,database_host_url)。選項(“sfUser”,用戶名)。選項(“sfPassword”,密碼)。選項(“sfDatabase”,database_name)。選項(“sfSchema”,schema_name)。選項(“sfWarehouse”,warehouse_name)。負載()
筆記本的例子:雪花連接器的火花
以下筆記本提供簡單的例子如何寫數據和讀取數據的雪花。看到使用火花連接器為更多的細節。特別是,看到設置配置選項的連接器對所有配置選項。
提示
避免暴露你的雪花在筆記本使用用戶名和密碼秘密,這中演示了筆記本。
常見問題(FAQ)
為什麼不我火花DataFrame列在雪花出現在相同的順序嗎?
火花的雪花連接器不尊重表中列的順序寫入;您必須顯式地指定DataFrame和雪花列之間的映射。指定這個映射,使用columnmap參數。
為什麼整數數據寫入雪花讀回小數嗎?
雪花代表所有整數類型數量,這可能導致數據類型變化的數據寫入和讀取數據時從雪花。例如,整數可以轉換成數據小數當編寫雪花,因為整數和小數在語義上等價的雪花(見雪花數值數據類型)。