DBFS CLI(遺留)

重要的

這個文檔已經退休了,可能不會被更新。

這個信息適用於遺留數據磚CLI版本0.17及以下。磚建議你使用新磚CLI的版本0.200及以上。看到磚CLI。找到你的版本的磚CLI,運行磚- v。

你跑磚DBFS CLI子命令附加磚fs(或別名dbfs),所有DBFS路徑前綴dbfs: /。這些子命令調用DBFS API。

磚fs - h

            用法:磚fs[選項]命令(ARGS)……效用與DBFS進行交互。與DBFS DBFS路徑都是前綴:/。本地路徑可以絕對的或地方。選項:- v -版- h,幫助顯示此消息並退出。命令:貓顯示一個文件的內容。不工作目錄。配置與DBFS cp拷貝文件。選項:- r、遞歸——覆蓋覆蓋已經存在的文件。在DBFS ls列表文件。 Options: --absolute Displays absolute paths. -l Displays full information including size and file type. mkdirs Makes directories in DBFS. mv Moves a file between two DBFS paths. rm Removes files from DBFS. Options: -r, --recursive
           

操作列表、移動或刪除超過10 k文件,我們強烈反對使用DBFS CLI。

的列表操作(磚fsls大約60年代後)將超時。
的移動操作(磚fsmv)將時間約60年代後,可能會導致部分的移動數據。
的刪除操作(磚fsrm)將逐步刪除批文件。

我們建議您執行這些操作在集群環境中,使用文件係統實用程序(dbutils.fs)。dbutils.fs涵蓋了DBFS REST API的功能範圍,但從筆記本。運行這些操作使用筆記本電腦提供了更好的控製,如選擇性刪除,可管理性和自動化周期性工作。

一個文件的內容列表

顯示使用文檔,運行磚fs貓——幫助。

磚fs貓dbfs: / tmp / my-file.txt

Apache火花是太棒了!

複製一個文件

顯示使用文檔,運行磚fscp——幫助。

             磚fs cp dbfs: / tmp / your_file。txt dbfs: /父母/孩子/孫子/ my_file。txt -覆蓋
            

成功,這個命令可以顯示。

信息的文件和目錄列表

顯示使用文檔,運行磚fsls——幫助。

磚fs ls dbfs: / tmp——絕對- l

             文件42408084 dbfs: / tmp / LoanStats。csv 1590005159000文件40 dbfs: / tmp / file_b。txt 1603991038000dir 0 dbfs: / tmp /蜂巢0dir 0 dbfs: / tmp / mlflow 0文件385 dbfs: / tmp /多行。json 1597770632000dir 0 dbfs: / tmp /新0dir 0 dbfs: / tmp /父0243年文件dbfs: / tmp /測試。json 1597770628000文件40 dbfs: / tmp / test_dbfs。txt 1603989162000
            

創建一個目錄

顯示使用文檔,運行磚fsmkdir——幫助。

磚fs mkdir dbfs: / tmp / new-dir

成功,這個命令可以顯示。

移動一個文件

顯示使用文檔,運行磚fsmv——幫助。

             磚fs mv dbfs: / tmp /我的文件。txt dbfs: /父母/孩子/孫子/ my-file.txt
            

成功,這個命令可以顯示。

刪除一個文件

顯示使用文檔,運行磚fsrm——幫助。

磚fs rm dbfs: / tmp /父母/孩子/孫子/ my-file.txt

刪除成功完成。