隻是寫dataframe CSV文件(非分區)

[Bilal1]

當編寫一個dataframe Pyspark CSV文件,創建一個文件夾並創建一個分區的CSV文件。我有那麼重命名此文件為了分發我的最終用戶。

有什麼方法我可以簡單的寫數據到一個CSV文件,名字我指定,和有一個文件在我指定的文件夾嗎?

[werners1]

是的,但是你必須做一個合並(1)。這將生成一個csv文件,但是你也會失去一些並行合並(1)上遊傳播。

也不要忘記禁用_SUCCESS等文件的編寫(見這個話題)

[Bilal1]

謝謝沃納。然而它仍然寫信給一個文件夾,我仍然需要重命名的文件,複製等。

我想test1。csv文件的根文件夾。不是一個文件夾。

[werners1 · Accepted solution]

它總是寫信給一個文件夾由於火花的並行特性。

如果這是一個問題,您可以使用魔法命令% sh . csv文件的水平移動和重命名它。

所以使用“mv”命令。

[krutarth]

csv文件將會隨機的名字,你能告訴我你將如何重命名它沒有進入激戰的複製它的名字嗎?

例如讓說根文件夾的名字是主要的,裏麵主要寫使用coalsce csv(1)和主要結構/ data.csv / randombigname - - 00000 xyz.csv一部分

現在我想移動csv文件在主文件夾,讓說的名字是dummyData.csv…所以我想主要/ dummyData.csv最終結構

請幫助