SparkFiles——奇怪的行為在Azure磚(運行時10)

[Hubert_Dudek1]

當你使用:

從pyspark進口SparkFiles spark.sparkContext.addFile (url)

它將文件添加到非dbfs / local_disk0 /但當你想讀文件:

spark.read.json (SparkFiles.get (“file_name”))

要從/ dbfs / local_disk0 /讀取它。我也試過用文件:/ /和許多其他創造性的方式,它不工作。

當然是工作在使用% sh cp -從/ local_disk0 / / dbfs / local_disk0 /。

這似乎是一個錯誤就像addFile轉向dbfs azure磚但SparkFiles不是(在原始火花addFile和到達/從工人)。

我也找不到任何設置手動指定SparkFiles RootDirectory。

[Kaniz]

嗨@Hubert杜德克,我們會盡快給你回電。

[weldermartins]

大家好,有什麼消息嗎?

謝謝。

@Kaniz開羅

[Kaniz]

嗨@welder馬丁斯,如果你已經創建了一個支持的票,你能分享的機票細節?

[weldermartins]

嗨@Kaniz開羅,機票號碼:# 00125834。

已經一個多月以來,票開了,但是仍然沒有反應。

我現在測試版本3.2.0 Apache的火花在Azure平台上,繼續以同樣的方式與信息:“文件未找到”。Beplay体育安卓版本但在community.cloud。磚的路徑找到並返回預期的結果。

[Kaniz]

嗨@welder馬丁斯,請添加/ dbfs /之前/ mnt .........初的URL。