取消
顯示的結果
而不是尋找
你的意思是:

在DBFS無法保存文件

learnerbricks
新的貢獻者二世

我已經把azure數據集可用於實踐。我得到了10天的數據集,現在我想將這些數據保存到DBFS csv格式。我麵臨一個錯誤:

“沒有這樣的文件或目錄:沒有這樣的文件或目錄:/ dbfs / tmp / myfolder / mytest.csv '

但另一方麵,如果我能夠直接從DBFS訪問路徑。這條路是正確的。

我的代碼:

從azureml。opendatasets進口NoaaIsdWeather datetime進口datetime dateutil從dateutil進口解析器。relativedelta進口relativedelta火花。sql (DROP Table如果存在mytest) dbutils.fs。rm (“/ dbfs / tmp / myfolder”,遞歸= True) basepath = " / dbfs / tmp / myfolder”試題:dbutils.fs.ls (basepath)除了:dbutils.fs.mkdirs (basepath)其他:提高異常(“文件夾”+ basepath +”已經存在,這個筆記本將刪除最後”)dbutils.fs.mkdirs (“/ dbfs / tmp / myfolder”) start_date = parser.parse (“2020-5-1”) end_date = parser.parse (“2020-5-10”) isd = NoaaIsdWeather (start_date end_date) pdf = isd.to_spark_dataframe () .toPandas () .to_csv (" / dbfs / tmp / myfolder / mytest.csv”)

我應該做什麼?

謝謝

1回複1

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨,運行.mkdirs命令後,請確認. csv文件被複製在哪裏?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map