閱讀/ tmp不再工作

[蘇]

從昨天起,讀一個文件複製到集群不再工作。

曾經工作:

blob = gcs_bucket.get_blob (dev / data.ndjson) - >工作

blob.download_to_filename (“/ tmp / data-copy.ndjson”) - >工作

df = spark.read.json (“/ tmp / data-copy.ndjson”) - >失敗

當調用os.listdir (“/ tmp”),列出的文件。

昨天這個工作。有改變嗎?

[Debayan]

嗨@Sarah亞瑟,你能提供你收到的錯誤,它什麼時候開始失敗了?

[Vidula_Khanna]

嗨@Sarah開創

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[Evan_From_Bosto]

我遇到了同樣的問題,找到了一個解決!

出於某種原因,似乎隻有% sh細胞可以訪問/ tmp目錄。所以我做了…

% sh ch / tmp / <文件> / dbfs / <期望位置>然後訪問形式使用火花。