取消
顯示的結果
而不是尋找
你的意思是:

引發執行人抽樣。管打電話找不到文件位置存在於Sparkfiles.get ()

mick042
新的貢獻者三世

磚的筆記本,我需要運行文本文件(stdin、stdout)通過從外部函數庫。我用sparkContext.AddFiles ({external_library_name})添加外部庫,以便它可以所有的執行人。

當我運行sparkFiles.get ({external_library_name})它返回執行程序路徑到外部庫。當我使用sparkFiles.get ({external_library_name})位置作為抽樣的一部分。管與連接參數的電話,我得到一個FileNotFound例外。

spark.sparkContext.addFile (“/ dbfs / FileStore / Custom_Executable”) files_rdd = spark.sparkContext.parallelize (files_list)打印(f 'spark文件路徑:{SparkFiles.get (Custom_Executable)}”) path_with_params = SparkFiles.get (“Custom_Executable”) +“函數名——從固化company2 company1————與產出——“print (f 'path參數:{path_with_params}”) pipe_rdd = files_rdd。管(path_with_params env = {SOME_ENV_VAR: env_var_val})打印(pipe_tokenised_rdd.collect ())

這的輸出

火花文件路徑:/ local_disk0 /火花c69e5328 - 9 - da3 4 c76 - 85 - b8 - a977e470909d / userFiles e8a37109 - 046 c - 4909 - 8 dd2 - 95 bde5c9f3e3 / Custom_Executable exe路徑:/ local_disk0 /火花c69e5328 - 9 - da3 4 c76 - 85 - b8 - a977e470909d / userFiles-e8a37109 - 046 c - 4909 - 8 dd2 - 95 bde5c9f3e3 / Custom_Executable函數名——company1——從company2 org.apache.spark固化-與產出輸出。SparkException:工作階段失敗而終止:任務2階段0.0失敗了4次,最近的失敗:在舞台上失去了任務2.3 0.0 (TID 12)(10.113.4.168執行人0):org.apache.spark.api.python。PythonException: 'FileNotFoundError: [Errno 2] No such file or directory: '/local_disk0/spark- c69e5328-9da3-4c76-85b8-a977e470909d/userFiles-e8a37109-046c-4909-8dd2- 95bde5c9f3e3/Custom_Executable''. Full traceback below:

為什麼管叫找不到SparkFiles.get返回的位置?

1接受解決方案

接受的解決方案

mick042
新的貢獻者三世

謝謝Kaniz,是的,我試過。沒有工作。現在回到init腳本。

在原帖子查看解決方案

3回複3

Kaniz
社區經理
社區經理

嗨@Michael列儂,嚐試添加“文件:/ / /”SparkFiles.get ...................在第6行。

mick042
新的貢獻者三世

謝謝Kaniz,是的,我試過。沒有工作。現在回到init腳本。

Kaniz
社區經理
社區經理

@Michael列儂,太棒了!

感謝分享更新。

你介意將你的答案標記為最好的?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map