取消
顯示的結果
而不是尋找
你的意思是:

臨時文件的默認位置Azure突觸連接器(com.databricks.spark.sqldw)

成成
新的貢獻者三世

嗨大家,我試圖在Azure突觸專用的SQL查詢數據池根據documentaion使用:

格式(“com.databricks.spark.sqldw”)

在Azure突觸分析查詢數據

它說,abfss臨時位置是必要的。

但我發現,即使我不指定tempDir,下麵的代碼也DBR高於13.0版本。

我想知道是否有這個驅動程序的文檔/連接器,它保存臨時文件當我不指定一個。

df =(火花。讀.format (com.databricks.spark.sqldw) .option (“url”, url) # .option (“tempDir”、“abfss: / /(電子郵件保護)/”)# .option .option (“forwardSparkAzureStorageCredentials”、“true”)(“用戶”,用戶).option(“密碼”,密碼).option .option(“加密”,“真正的”)(“trustServerCertificate”,“假”).option .option (“loginTimeout”、“30”)(“查詢”,pushdown_query) .option (“fetchsize”, 2000) .load ())

我應該擔心以下問題如果我不指定任何tempDir嗎?(我不想這樣做,如果不是必要的。)

“Azure突觸連接器不刪除臨時文件,它會創建在Azure存儲容器。磚建議您定期刪除臨時文件根據用戶提供的tempDir位置。”

臨時數據管理

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map