取消
顯示的結果
而不是尋找
你的意思是:

空dataframe寫入csv

_not_provid1755
新的因素

我寫作(實體)數據幀輸出到csv文件。下麵的語句非空數據幀時非常有效。

entity.repartition (1) .write.mode (SaveMode.Overwrite) .format (csv)。選項(“頭”,“真正的”).save (tempLocation)

不工作的時候是空的。正在創建空文件,我希望至少頭會出現,這樣我的表格模型與“無效的列”的錯誤不會失敗。

有人經曆過這個問題嗎?

謝謝!

3回複3

User16869509900
價值貢獻

你好,

謝謝你接觸磚論壇,

與操作係統這是一個錯誤,被固定在火花3版本。

這是jira票的問題

https://issues.apache.org/jira/browse/spark - 26208

這是拉要求修複,這將被合並

https://github.com/apache/spark/pull/23173

移植修複到磚在管道運行時版本。

請讓我們知道是否回答了你的問題,或者如果你有後續問題。

謝謝

Sandeep
貢獻者三世

因為火花2.4,寫dataframe空著或嵌套空模式使用任何文件格式(拚花、獸人、json、文本、csv等等)是不允許的。拋出一個異常時,當試圖寫dataframes空模式。

請在這裏找到更多的細節:https://spark.apache.org/docs/latest/sql-migration-guide-upgrade.html upgrading-from-spark-sql-23-to……

mrnov
新的貢獻者二世

相同的問題(類似的代碼和相同的行為引發測試盒框,使用火花提交贏和林)

dataset.coalesce (1) .write () .option(“字符集”、“utf - 8”) .option(“標題”、“true”) .mode (SaveMode.Overwrite) . csv (outputDirPath);

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map