如何處理文件從互聯網在磚嗎?“spark.sparkContext。addFile”下載文件到HDFS目錄。“SparkFiles.get&quo…

[Hubert_Dudek1]

如何處理文件從互聯網在磚嗎?

“spark.sparkContext。addFile”下載文件到HDFS目錄。“SparkFiles。“返回路徑和名稱。然而,隨著磚使用DBFS文件係統,我們需要添加“文件:/ / /”前綴從遺留HDFS文件係統。

[Kaniz]

太棒了。

謝謝@Hubert杜德克。

[Matt101122]

@Hubert杜德克你知道addFile應與abfss: / /路徑?試圖添加一個文件從azure在統一編目數據與外部湖位置。