問題在試圖讀取一個文本文件在磚使用本地文件的API,而不是引發API。

[RiyazAli]

我想讀一個小txt文件作為一個表添加到默認db磚。在試圖通過本地文件讀取文件API,我得到一個‘FileNotFoundError’,但我能夠讀取相同的文件火花抽樣使用SparkContext。

請找到下麵的代碼:

張開(" / FileStore /表/ boringwords。f_read txt”、“r”):在f_read:打印(線)

我得到的是錯誤的:

FileNotFoundError回溯(去年)最近調用<命令- 2618449717515592 > <模塊> - - - - - > 1張開(“dbfs: / FileStore /表/ boringwords。txt”、“r”在f_read) f_read: 2: 3打印(線)FileNotFoundError: [Errno 2]沒有這樣的文件或目錄:“dbfs: / FileStore /表/ boringwords.txt”

我在哪裏,讀取文件使用沒有問題SparkContext:

boring_words = sc.textFile (“/ FileStore /表/ boringwords.txt”)設置(i.strip()因為我boring_words.collect ())

正如預期的那樣,我得到上麵的代碼塊的結果:

[4]:{“瘋了”,“移動”,“文件名”,“圈”,“餅幹”,“移民”,“預期”,“社論”、“審查”}

我指的也是DBFS文檔了解本地文件API的限製,但沒有領導在這個問題上。任何幫助將不勝感激。謝謝!

[werners1]

你可以嚐試用/ dbfs / Filestore /表/ boringwords.txt嗎?

[RiyazAli]

嘿@Werner Stinckens !謝謝你的回應!

我試過你的建議,我仍然得到同樣的錯誤!

PFA下麵剪:

此外,我意識到' ' ' / dbfs ' ' '添加到路徑是可選的,正如我將數據存儲在默認的數據庫。指OP,我創建一個抽樣通過‘’”的路徑/ FileStore /表/文件名。txt”“”“sc.textFile”。

謝謝你！

[werners1]

你忘記了一個“/”作為第一個字符的文件路徑。

[RiyazAli]

你好@Werner Stinckens !

你是對的!我之前錯過了‘/’。

但是,並沒有什麼改變dbfs之前後添加“/”。下麵是剪斷:

此外,當我試著相同的路徑表示法SparkContext -它拋給我一個錯誤:

我開始懷疑這是正確的方式來提供絕對路徑。

相反,我給的路徑為“dbfs: / FileStore /表/ boringwords。txt”工作。

但這並不適用於讀取文件從本地API。