嗨大家,我試圖在Azure突觸專用的SQL查詢數據池根據documentaion使用:
。格式(“com.databricks.spark.sqldw”)
在Azure突觸分析查詢數據
它說,abfss臨時位置是必要的。
但我發現,即使我不指定tempDir,下麵的代碼也DBR高於13.0版本。
我想知道是否有這個驅動程序的文檔/連接器,它保存臨時文件當我不指定一個。
df =(火花。讀.format (com.databricks.spark.sqldw) .option (“url”, url) # .option (“tempDir”、“abfss: / / tempdir@datalakefordatabricks555.dfs.core.windows.net/”) # .option .option (“forwardSparkAzureStorageCredentials”、“true”)(“用戶”,用戶).option(“密碼”,密碼).option .option(“加密”,“真正的”)(“trustServerCertificate”,“假”).option .option (“loginTimeout”、“30”)(“查詢”,pushdown_query) .option (“fetchsize”, 2000) .load ())
我應該擔心以下問題如果我不指定任何tempDir嗎?(我不想這樣做,如果不是必要的。)
“Azure突觸連接器不刪除臨時文件,它會創建在Azure存儲容器。磚建議您定期刪除臨時文件根據用戶提供的tempDir位置。”
臨時數據管理
