我在遷移項目遷移HDFS命令處決我做在我的Python代碼通過os.system()函數,代之以dbutils功能。
dbutils函數是按預期工作如果我通過一個文件的完全限定路徑但不是工作當我試圖通過外卡。
當前項目有多個HDFS命令(cp、rm、mv等)與通配符表達式。
目前,我看到兩個方麵,一,來減輕這個問題清單的所有對象作為一個列表,然後應用過濾器列表,然後遍曆列表和完成操作,但這不是一個有效的方式相比,和兩個批量複製/移動/刪除命令,通過使用boto3跑龍套做此操作。
有一種磚做的批量複製/移動/刪除文件從一個S3文件夾到另一個S3文件夾使用通配符表達式?
下麵是示例命令:
hdfs dfs - cp - f s3a: / / <桶> / folder1 / some_prefix *。csv s3a: / / <桶> / folder2 /
hdfs dfs mv - f s3a: / / <桶> / folder1 / some_prefix *。csv s3a: / / <桶> / folder2 /
hdfs dfs rm - r -skipTrash s3a: / / <桶> / folder1 / some_prefix * . csv
以下是例外我在了dbutils.fs.ls ():