我怎麼讀一個隱藏文件的內容引發的工作嗎?

[Lincoln_Bergeso]

我想讀一個文件從一個穀歌雲存儲桶。文件名開頭一段,所以火花假設文件是隱藏的,不讓我看。

我的代碼類似於:

從pyspark。sql進口SparkSession火花= SparkSession.builder.getOrCreate () df = spark.read.format .load(“文本”)(“gs: / / <桶> /。myfile”, wholetext = True) df.show ()

結果DataFrame是空的(如,它沒有行)。

當我運行這個在我的筆記本電腦,我得到以下錯誤信息:

22/02/15 16:40:58警告數據源:所有路徑都被忽略了:gs: / / <桶> / .myfile

我注意到,這適用於文件從一個下劃線。

我怎樣才能解決這個問題嗎?

[Lincoln_Bergeso]

期待的答案。從我研究這個看起來需要一個特殊的配置或變通方法,我希望磚可以提供。

[Atanu]

@Lincoln Bergeson GCS對象名稱非常自由。隻有\ r \ n是無效的,其他都是有效的,包括NUL字符。我還不確定這可以幫助你。我們真的需要破解這從火花!

[jose_gonzalez]

嗨@Lincoln Bergeson,

隻是一個友好的後續。做的任何以前的響應幫助你解決你的問題?如果你還需要幫助,請讓我們知道。

[Lincoln_Bergeso]

嗨@Jose岡薩雷斯,這些答案幫助我,不幸的是。我仍然希望能找到一個好的解決這個問題。

[Dan_Z · Accepted solution]

我不認為有一個簡單的方法來做到這一點。你也休息非常基本的功能(如閱讀三角洲表)如果你能避開這些限製。我建議你使用一個重命名工作,然後閱讀。