解壓兩次相同的文件沒有執行

[RantoB]

你好,

我需要解壓攝取一些文件,但是當我解壓兩次相同的壓縮文件,解壓縮命令不執行:

在我做的文檔:suggesgted

進口urllib urllib.request.urlretrieve (“https://resources.lendingclub.com/LoanStats3a.csv.zip”、“/ tmp / LoanStats3a.csv.zip”)

% sh / tmp / LoanStats3a.csv.zip解壓縮

但當它應用再解壓,命令沒有執行,似乎控製住了在沒有循環。

謝謝你的幫助。

[Kaniz]

你好@RantoB!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[RantoB]

好的。

不,我也有同樣的行為當我usig python api:

zipfile。ZipFile(路徑,“r”)作為zip_ref: zip_ref.extractall (directory_to_extract_to)

[匿名]

如果你要讀的文件與火花,你不需要解壓縮。火花的CSV閱讀器可以讀取壓縮或解壓縮csv。

如果你要使用URL檢索,請記住,它將把文件放在司機而不是DBFS所以你必須移動到分布式文件係統使用火花來閱讀。

[RantoB]

事實上,我不會閱讀文件,火花在這個階段,我不使用URL檢索,這隻是reproductible例子。

壓縮文件是攝取ADLS代我解壓縮成不同的目錄根據他們的名字。但是當我第二次執行我的腳本,我麵對我上麵描述的問題。