我已經把azure數據集可用於實踐。我得到了10天的數據集,現在我想將這些數據保存到DBFS csv格式。我麵臨一個錯誤:
“沒有這樣的文件或目錄:沒有這樣的文件或目錄:/ dbfs / tmp / myfolder / mytest.csv '
但另一方麵,如果我能夠直接從DBFS訪問路徑。這條路是正確的。
我的代碼:
從azureml。opendatasets進口NoaaIsdWeather datetime進口datetime dateutil從dateutil進口解析器。relativedelta進口relativedelta火花。sql (DROP Table如果存在mytest) dbutils.fs。rm (“/ dbfs / tmp / myfolder”,遞歸= True) basepath = " / dbfs / tmp / myfolder”試題:dbutils.fs.ls (basepath)除了:dbutils.fs.mkdirs (basepath)其他:提高異常(“文件夾”+ basepath +”已經存在,這個筆記本將刪除最後”)dbutils.fs.mkdirs (“/ dbfs / tmp / myfolder”) start_date = parser.parse (“2020-5-1”) end_date = parser.parse (“2020-5-10”) isd = NoaaIsdWeather (start_date end_date) pdf = isd.to_spark_dataframe () .toPandas () .to_csv (" / dbfs / tmp / myfolder / mytest.csv”)
我應該做什麼?
謝謝
