你好,
到目前為止我已經成功地使用CLI接口上傳文件從本地機器DBFS / FileStore /表。具體地說,我一直在使用終端,下麵的命令:
磚fs cp - r < MyLocalDataset > dbfs: / FileStore /表/ NewDataset /
上周這個命令似乎並沒有工作了。當執行它囉嗦地似乎成功運行(每個文件的副本顯示在終端)。此外,如果後來我觸發以下命令列出NewDataset文件夾:
磚fs ls dbfs: / / FileStore /表
然而,當我檢查內容磚= > Data = >創建新的表= > DBFS = > / FileStore /表文件夾NewDataset是不存在的。
此外,如果我創建了一個筆記本,嚐試加載NewDataset我得到以下錯誤:
org.apache.hadoop.mapred。InvalidInputException:輸入路徑不存在:/ FileStore /表/ NewDataset
我試過其他命令的CLI(例如,磚集群列表),他們都工作好。
我做錯了什麼,還是有一種新的方式上傳文件DBFS我應該使用呢?
我使用磚Community Edition。
非常感謝你的時間。
親切的問候,
玉米片
嗨@Arjun Kaimaparambil Rajan,
謝謝你的回答。是的,我認為這確實是如此。
我能看到一個不匹配的內容DBFS時:
換句話說,命令“磚fs cp - r < MyLocalDataset > dbfs: / FileStore /表/ NewDataset /”上傳數據集“地方”,但不是dbfs我可以看到通過磚與GUI = >數據= >創建新表= > dbfs = > / FileStore /表。
我的問題是:
提前謝謝你!
親切的問候,
玉米片
嗨@Arjun Kaimaparambil Rajan,
謝謝你的回複。
是的,我能確認GUI選擇“數據”= >“Create Table”= >“上傳文件”讓我從我的本地機器DBFS上傳的數據集。
因此,這可以作為一個替代CLI“磚fs的cp命令上傳數據從本地機器DBSF / FileStore /表/。
兩個問題:
1。會有一個類似的GUI方式下載結果文件夾火花產生的工作回本地機器?
我知道個人文件/ FileStore /表可以通過URL訪問,但是這種方法似乎並不適用於整個文件夾。而命令“磚fs ls”可以用來生成一個腳本迭代每個文件的下載通過“wget”,這似乎是很乏味的。
2。一般,可以添加CLI功能“磚fs的cp”回磚Community Edition的嗎?
CLI“磚fs的cp命令已經工作這麼多年,直到最近。也許可以考慮將此功能。
就我個人而言,我在大學教學使用磚火花模塊。我和我的學生都喜歡磚,我們願繼續使用它。
親切的問候,
玉米片