你好,
目前,我所麵臨的問題行分隔符在csv文件,導出的數據幀在Azure磚(版本火花2.4.3)Azure Blob存儲。包含所有的csv文件低頻line-separator。我需要CRLF (\ r \ n)作為行分隔符在那些csv文件。盡管我嚐試不同的方法來改變默認行分隔符到我的目標行分隔符,它不工作。到目前為止,我嚐試下麵的方法
1。在磚的筆記本,我添加選項來定製行分隔符如下。
df.write.format .option (“com.databricks.spark.csv”)(“標題”、“true”)。選項(“lineSep”、“\ r \ n”).mode(“覆蓋”).save (target_folder);
像這樣的選項(“lineSep”)不起作用,至少在我火花2.4.3版本。我檢查了其他類似的問題,在論壇,他們說,這在火花2.4.4不工作。
2。在磚的筆記本,我試圖添加以下行
spark._jvm.java.lang.System.setProperty(“行。分隔符”、“\ r \ n”);
看起來像這樣setProperty還沒有改變默認的行分隔符一旦解析和編寫數據輸出在Azure blob存儲的csv文件。
也許有人有其他的建議/解決這個問題?非常感謝你的幫助。
有關的答案似乎是關於閱讀。@tunguyen90問及寫作。他們不是不同的問題?我也在尋找最新信息的作家。