把文件從S3與統一目錄啟用本地文件係統

[madhav_dhruve]

親愛的磚社區專家,

我工作在磚在AWS上統一目錄。

usecase我之一是與許多擴展在S3 Bucket解壓文件。

下麵是我的策略:-

1. 從S3移動文件到本地文件係統通過dbutils.fs(火花驅動程序正在運行)。mv (dbfs_file local_file)
2. 通過shell命令解壓縮文件或在python包
3. 通過dbutils未壓縮的文件移動到S3

在這裏,

dbfs_file = = > s3: / / path_to_file或dbfs: / / path_to_file(我使用單位目錄,而不是安裝方法)

local_file = = >文件:/ / / tmp / path_to_file,

當我使用dbutils.fs。cp (dbfs_file local_file),我得到如下——錯誤

錯誤- - - - - -. lang。SecurityException:不能使用com.databricks.backend.daemon.driver。WorkspaceLocalFileSystem——禁止本地文件係統訪問

如何應用寫權限和解決這個問題。