上傳本地文件到DBFS

[Young_TackPark]

我使用磚筆記本Community Edition(2.36),並希望向DBFS上傳本地文件。有沒有簡單的Hadoop命令“Hadoop fs——…”嗎?任何幫助將不勝感激。

[kutt4n]

你可以從本地文件創建一個表(如果你有某種結構化數據)。你隻需要選擇文件作為數據源。

如果你能提供一個url,可以從任何地方訪問(甚至在當地的網絡服務器托管文件)——你可以使用

% fs wgethttp://filename

和使用

dbutils.fs.cp

從“文件:/路徑”複製到“dbfs: /路徑”

檢查https://docs.www.eheci.com/user-guide/dbfs-databricks-file-system.html為更多的細節

[sushrutt_12]

Python 2.7:

進口urllib.requesturllib.urlretrieve("https://github.com/sushrutt12/DataSets/blob/master/final_chris.zip","/tmp/chris_data.zip") dbutils.fs.mv("file:/tmp/chris_data.zip", "dbfs:/data/chris_data.zip")

Python 3. x:

1. 進口urllib.request
2. urllib.request.urlretrieve (“https://github.com/sushrutt12/DataSets/blob/master/final_chris.zip”、“/ tmp / chris_data.zip”)
3. dbutils.fs.mv(“文件:/ tmp / chris_data.zip”、“dbfs: /數據/ chris_data.zip”)