SparkFiles——奇怪的行為在Azure磚(運行時10)

[Hubert_Dudek1]

當你使用:

從pyspark進口SparkFiles spark.sparkContext.addFile (url)

它將文件添加到非dbfs / local_disk0 /但當你想讀文件:

spark.read.json (SparkFiles.get (“file_name”))

要從/ dbfs / local_disk0 /讀取它。我也試過用文件:/ /和許多其他創造性的方式,它不工作。

當然是工作在使用% sh cp -從/ local_disk0 / / dbfs / local_disk0 /。

這似乎是一個錯誤就像addFile轉向dbfs azure磚但SparkFiles不是(在原始火花addFile和到達/從工人)。

我也找不到任何設置手動指定SparkFiles RootDirectory。

[Kaniz]

嗨@welder馬丁斯,我們正在努力。請給我們一些時間。

[User16764241763 · Accepted solution]

@Hubert杜德克

必須嚐試文件:/ / / ?

我記得火花3.2開始,這榮譽本機hadoop文件係統如果沒有文件定義訪問協議。

[Hubert_Dudek1]

嗨,這是幾個月前。我需要檢查一遍新的博士。

[Hubert_Dudek1]

我確認@Arvind強奸說添加文件:/ / /解決問題。

[weldermartins]

嘿,

但這個分配地址會改變嗎?它必須根據社區工作。但是謝謝你的反饋。