取消
顯示的結果
而不是尋找
你的意思是:

逃避反斜杠(/)在寫火花dataframe csv

HarisKhan
新的因素

我用火花版本測試盒框。我知道反斜杠是缺省轉義字符在火花,但仍然我麵臨以下問題。

我正在讀一個csv文件到一個火花dataframe(使用pyspark語言)和寫作dataframe到csv。我有一些“/ /”源csv文件(如下麵提到),在第一次反斜杠表示轉義字符和第二個反斜杠是實際的價值。

測試。csv(源數據)

Col1、Col2 Col3 Col4

1、“abc / /”Val2 xyz

2、“/ /”,abc, Val2

我正在讀測試。csv文件和創建dataframe使用下麵的代碼:

df = sqlContext.read.format (com.databricks.spark.csv) . schema(模式)。選項(“逃脫”,“\ \”).options(頭= '真的').load (“Test.csv”)

和閱讀df dataframe和寫回的輸出。csv文件中使用以下代碼:df.repartition (1) .write.format (csv)。選項(“emptyValue”,空)。選項(“頭”,“假”)。選項(“逃脫”,“\ \”)。選項(“路徑”,“D: \ TestCode \ Output.csv”)。保存(頭= '真的')

Output.csv

Col1、Col2 Col3 Col4

1、“abc / /”Val2 xyz

2 / abc, Val2

在第二行輸出。csv,轉義字符是迷失的引號(" ")。我的要求是保留的轉義字符輸出。csv。

感謝任何幫助。謝謝提前

2回答2

sean_owen
尊敬的貢獻者二世
尊敬的貢獻者二世

我困惑,你說逃避反斜杠,但是你顯示你的數據正斜杠。你不想斜杠越獄嗎?

Granilpa
新的貢獻者二世

當我寫我的磚輸出通過python雲,當讀到BI,我得到額外的“\”——我怎麼消除額外的斜杠?我似乎讓他們在零列“\ \”和一個額外的一個NTID領域如公司\ \ NTID(額外的)。我不想刪除它們,隻是在空字段和上麵描述的額外的一個。的幫助!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map