取消
顯示的結果
而不是尋找
你的意思是:

無法將CSV文件保存到DBFS

learnerbricks
新的貢獻者二世

你好,

我已經把azure數據集可用於實踐。我得到了10天的數據集,現在我想將這些數據保存到DBFS csv格式。我麵臨一個錯誤:

“沒有這樣的文件或目錄:/ dbfs / tmp / myfolder / mytest.csv”“

但另一方麵,如果我能夠直接從DBFS訪問路徑。這條路是正確的。

我的代碼是:

從azureml。opendatasets進口NoaaIsdWeather datetime進口datetime dateutil從dateutil進口解析器。relativedelta進口relativedelta火花。sql (DROP Table如果存在mytest) dbutils.fs。rm (“/ dbfs / tmp / myfolder”,遞歸= True) basepath = " / dbfs / tmp / myfolder”試題:dbutils.fs.ls (basepath)除了:dbutils.fs.mkdirs (basepath)其他:提高異常(“文件夾”+ basepath +”已經存在,這個筆記本將刪除最後”)dbutils.fs.mkdirs (“/ dbfs / tmp / myfolder”) start_date = parser.parse (“2020-5-1”) end_date = parser.parse (“2020-5-10”) isd = NoaaIsdWeather (start_date end_date) pdf = isd.to_spark_dataframe () .toPandas () .to_csv (" / dbfs / tmp / myfolder / mytest.csv”)

我應該做什麼?

謝謝

2回答2

Aviral-Bhardwaj
尊敬的貢獻者三世

嗨@Lathesh bl我用下麵的代碼保存數據在dbfs請檢查這也工作

這是我的代碼片段

圖像

這是我在DBFS文件

圖像

讓我們知道如果這是工作,我們很高興幫助你

謝謝

Aviral Bhardwaj

ajaypanday6781
尊敬的貢獻者二世

您可以使用火花dataframe CSV文件的讀寫

閱讀- df = spark.read.csv(“路徑”)寫- df.write.csv(“路徑”)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map