空dataframe寫入csv

[_not_provid1755]

我寫作(實體)數據幀輸出到csv文件。下麵的語句非空數據幀時非常有效。

entity.repartition (1) .write.mode (SaveMode.Overwrite) .format (csv)。選項(“頭”,“真正的”).save (tempLocation)

不工作的時候是空的。正在創建空文件,我希望至少頭會出現,這樣我的表格模型與“無效的列”的錯誤不會失敗。

有人經曆過這個問題嗎?

謝謝!

[User16869509900]

你好,

謝謝你接觸磚論壇,

與操作係統這是一個錯誤,被固定在火花3版本。

這是jira票的問題

https://issues.apache.org/jira/browse/spark - 26208

這是拉要求修複,這將被合並

https://github.com/apache/spark/pull/23173

移植修複到磚在管道運行時版本。

請讓我們知道是否回答了你的問題,或者如果你有後續問題。

謝謝

[Sandeep]

因為火花2.4,寫dataframe空著或嵌套空模式使用任何文件格式(拚花、獸人、json、文本、csv等等)是不允許的。拋出一個異常時,當試圖寫dataframes空模式。

請在這裏找到更多的細節:https://spark.apache.org/docs/latest/sql-migration-guide-upgrade.html upgrading-from-spark-sql-23-to……

[mrnov]

相同的問題(類似的代碼和相同的行為引發測試盒框,使用火花提交贏和林)

dataset.coalesce (1) .write () .option(“字符集”、“utf - 8”) .option(“標題”、“true”) .mode (SaveMode.Overwrite) . csv (outputDirPath);